[CLIP] 행동 기반의 쓰레기 무단 투기 이벤트 탐지 모델 (1)
요는 쓰레기 무단 투기 이벤트를 객체 간의 상호 움직임이 아닌, 사람의 행동을 기반으로 탐지하는 방법이다.
본 글에서는 기존 방식의 문제점을 주로 논한다. 모델 구조에 대해서는 다음 글에서 확인할 수 있다.
[CLIP] 행동 기반의 쓰레기 무단 투기 이벤트 탐지 모델 (2)
요는 쓰레기 무단 투기 이벤트를 객체 간의 상호 움직임이 아닌, 사람의 행동을 기반으로 탐지하는 방법이다. 본 글에서는 행동 기반 모델의 전반적인 아키텍처와 프로세스를 주로 논한다. 기존
b-ono-ng.tistory.com
1. 기존 방식
Video Surveillance 분야에서 탐지하고자 하는 다양한 이벤트들(쓰러짐, 배회, 침입, 화재 ...)이 있고 각 이벤트를 탐지하기 위한 일반적인 접근 방식이 있다.
쓰레기 무단 투기 및 유기 이벤트에 대해서도 교과서적인 접근 방식이 있는데, 다음의 방식이다.
물체가 유기﹒투기됨을 판단하기 위해 아래의 두 조건을 만족하는지 확인한다.
- 물체-주인 간의 거리가 일정 거리 이상 멀어졌는가? (일반적으로 2~3w, w=물체 너비)
- 물체가 일정 시간 이상 움직이지 않는가? (일반적으로 30~60sec)
여기서 물체와 사람의 위치와 움직임을 판단하기 위해 고전적인 영상 처리 방식에서는 Dual Background와 같은 방식을 활용한다. AI를 기반으로 하는 접근방식에서는 CNN 모델을 활용하며, 이 때 YOLO와 같은 오픈 소스 모델이 자주 차용된다.
위 접근 방식은 상당히 합리적인데, 1번 과정에서 물체의 주인이 없는가? 를 판단하고, 2번 과정에서 물체가 버려졌는가? 를 판단한다. 이로써 물체의 유기와 투기 행위를 동시에 (요는 같지만) 탐지할 수 있다.
2. 기존 방식의 현실적인 문제점
다만 이러한 방식은 현실 세계의 쓰레기 무단 투기 이벤트를 탐지하는데에 어려움이 따르는데, 그 이유는 다음과 같다.
첫 번째는 투기 행위 특성에 따른 detection 및 tracking의 어려움이다.
쓰레기 무단 투기 행위는 여느 데이터셋처럼 CCTV에 명확히 보이는 길거리에서 발생하지 않는다. 일반적으로 전봇대 뒤, 차량 뒤, 으슥한 곳, 담벼락 아래 등에서 행해지는데, 이에 따라 물체의 일부 또는 전체가 가려지기도 한다. 이는 물체의 detection이 반드시 전제되어야 하는 기존 방식과 상충한다.
두 번째는 투기 대상 물체 데이터셋 구축에 요구되는 상당한 비용이다.
쓰레기 버리는 사람을 탐지할거예요! "어떤" 쓰레기를 버리는 사람을 탐지할 것인가? 우리가 규정하는 쓰레기는 그 종류와 질감, 색상, 형태, 크기가 매우 다양하다. 위 사진만 보더라도 하얀색 비닐봉투, 파란색 비닐봉투, 검정색 비닐봉투, 종이 가방, 박스, 페트병, ... 등의 종류가 있다. 기존 방식은 물체에 대한 높은 검출률이 곧 이벤트 탐지율로 이어지는데, 이를 위해 각각의 쓰레기에 대한 양질의 데이터셋을 구축하고 라벨링하는 데에 상당한 인적/물적 비용이 필요하다.
세 번째는 넓은 시야각에 따른 물체 탐지의 어려움이다.
일반적으로 쓰레기 무단 투기를 탐지하고자 하는 주체는 시﹒군청과 같은 지자체 행정기관이다. 행정기관에서 관리하는 길거리 및 내부 CCTV에서 획득되는 이미지를 기반으로 탐지하고자 하는 것인데, 이러한 CCTV는 상당히 넓은 시야각을 갖는다. CCTV의 하단에 위치한 객체는 비교적 크고 명확하지만, CCTV의 상단으로 갈수록 객체의 크기가 급격히 작아진다. 투기 대상 물체는 보통 사람의 상체보다 작은 크기인데, CCTV 상단에서 이러한 물체를 탐지하는 것이 쉽지 않다.
게다가 빛이 일정하지 않은 야외 CCTV의 경우 외부 요인을 굉장히 많이 받는데, 악천후, 밤과 낮, 휘도와 조도 등 물체의 질감이나 색감에 영향을 줄 수 있는 다양한 요인으로 인해 탐지가 더욱 어려워진다.
요약하면, 기존 방식은 투기 대상 물체에 대한 탐지 의존도가 굉장히 높다.
기존 방식의 문제점을 고려해 새로운 접근방식을 고민해보았고, 객체들의 거리와 움직임을 기반으로 판단하는 방식이 아닌 사람의 행동을 기반으로 탐지하는 방식을 실험해보았다. 그리고 쓰레기 무단 투기 이벤트에 한해 꽤 높은 성능을 보이는 것을 확인했다.
이에 대한 전반적인 프로세스와 실험에 관한 내용은 다음 글에서 정리한다.
* 본 게시물은 다음 논문을 바탕으로 작성한 게시물이다. "행동 기반의 유기 및 투기 이벤트 탐지 모델", 제 4회 한국인공지능학회 하계학술대회, 마크애니(봉기정, 권용혜, 남지인, 전세윤), 2023.