콘텐츠 제한 없는 생성형 AI 기능, 누드 딥페이크 이미지까지 자동 생성
외신 The Verge는 X(구 트위터) 자회사로 알려진 Grok이 제공하는 이미지·영상 생성 AI 툴 ‘Grok Imagine’에서 유명인사의 딥페이크 영상을 제한 없이 생성할 수 있는 기능이 확인되었다고 보도했다. 기능은 iOS 애플리케이션에서 사용 가능하며, 사용자 입력 없이도 선정적인 영상을 생성한다.
Grok Imagine은 이미지 생성 후 이를 영상으로 전환할 수 있도록 네 가지 영상 프리셋(일반, 커스텀, 재밌는, 스파이시)을 제공하고 있으며, 스파이시 모드는 사용자 나이 확인 절차 없이도 사실상 누드 딥페이크 콘텐츠를 자동 생성하는 방식으로 작동한다.
주요 AI 영상 생성 툴인 OpenAI의 Sora, 구글의 Veo 등과 비교해도 콘텐츠 생성 제한 장치가 현저히 부족하다는 점에서 문제로 지적된다. 실제 테스트에서는 유명 아티스트인 테일러 스위프트의 이미지를 기반으로 생성된 사진 중 일부에서 선정성이 확인됐고, 이후 영상 변환 과정에서 수영복 또는 속옷 차림의 영상이 자동 생성되었다.
영상은 사용자가 특별한 조작을 하지 않아도 노출 수위가 높은 형태로 자동 전환됐으며, 이 과정에서 사용자 연령 확인, 콘텐츠 차단 등의 기본적인 보호 장치는 작동하지 않았다. 해당 기능은 영국 사용자 계정에서도 별도 연령 제한 없이 실행되었다.
The Verge는 Grok Imagine의 콘텐츠 생성 정책과 관련된 명확한 가이드라인 부재, 자동화된 NSFW(부적절 콘텐츠) 필터링의 부족 등을 문제로 지적했으며, 향후 법적 분쟁 가능성도 함께 제기했다. 한편, Grok 및 관련 운영 주체인 X 측의 공식 입장이나 기능 제한에 대한 후속 조치는 아직 확인되지 않았다.
출처 : theverge.com (외신 번역기사 입니다
