여성의 얼굴에 음란물을 합성한 ‘딥페이크’ 성범죄 영상물이 텔레그램 단체 대화방 등에서 유포되고 있는 가운데, 서울시가 이런 사진·영상물을 인공지능(AI)을 이용해 찾아낸 뒤 자동으로 삭제하는 기술 개발을 추진한다.
서울시는 28일 AI를 기반으로 딥페이크 성범죄 사진·영상물을 검출하는 기술 ‘서울 안심 아이(Seoul Safe Eye)’를 내년에 개발할 계획이라고 밝혔다. 현재는 원본 영상물이 있어야 유사성을 판별해 유포된 영상물을 찾아낼 수 있지만, 새 기술이 개발되면 피해 영상물 검출 능력이 획기적으로 상향될 것으로 기대된다.
서울시는 현재 성착취 피해 사진·영상을 AI를 이용해 24시간 모니터링하고 있다. 현재는 AI가 성착취물을 찾아내면 상담원이 삭제 신고를 하고 있지만, 서울연구원과 협력해 AI가 검색·신고 전 과정을 자동으로 수행하는 기술을 개발하고 있다.
오세훈 서울시장과 류희림 방송통신심의위원장은 이날 만나 딥페이크 영상물을 신속하게 삭제할 수 있도록 핫라인을 구축하기로 했다. 딥페이크 성범죄와 관련해 방심위와 협력하는 것은 지자체 가운데 서울시가 최초다. 핫라인은 이날부터 가동된다.
서울시는 폐쇄형 SNS에서 유포되던 딥페이크 영상물이 음란사이트나 다른 SNS에까지 퍼져 피해 신고가 접수되면 24시간 이내에 영상이 삭제·차단될 수 있게 조치할 계획이다. 지금까지는 서울시 디지털성범죄 안심지원센터에서 방심위에 각종 증빙 자료와 함께 영상 삭제 요청을 해야 했지만, 핫라인이 가동되면 많은 건수를 한 번에 삭제 요청할 수 있다.
이밖에 서울시는 오픈채팅방에 딥페이크 SOS 전담 상담창구를 개설하고 피해지원관 2명을 배치해 신고 방법과 범죄 채증 방법을 안내한다. 수사·법률지원 등 피해자에게 필요한 지원을 위해 서울디지털성범죄 안심지원센터로도 연결한다.
오 시장은 협약식에서 “오늘 이 시간부터 즉시 딥페이크 영상물을 신고받고 24시간 내 삭제하는 핫라인을 방심위와 함께 운영한다”며 “시민들의 딥페이크 영상물 피해를 최소화하겠다”고 했다.
