이 AI 회사가 야생에 딥페이크를 공개했습니다. 그것을 통제할 수 있을까요?
AI 회사의 딥페이크 공개, 통제 가능?
에리카는 매사추세츠 주에서 이혼 변호사를 고용하는 데 얼마나 드는지에 대해 YouTube에서 설명하고 있습니다. 드. 다스는 영국에서 사설 의료 보험을 판매하고 있습니다. 그러나 제이슨은 프랑스와 이전 식민지 말리의 관계에 대해 페이스북에서 가짜 정보를 퍼뜨리고 있습니다. 그리고 게리는 복잡한 암호 사기의 일환으로 사장을 흉내 내는 것으로 들켰습니다.
이 사람들은 실제가 아닙니다. 아니면, 정말로는 아닙니다. 이들은 신세지아의 CEO인 빅터 리파벨리에 의해 야생에 풀어진 딥 페이크입니다. 이 런던 기반의 생성적 AI 기업은 고용을 위해 약 150명의 디지털 인간을 보유하고 있습니다. 신세지아의 모든 클라이언트는 자신의 대본을 읽을 수 있도록 이 광택이 나는 캐스트에게 입력 텍스트를 입력하고 “생성”을 누르기만 하면 됩니다.
리파벨리의 이 아바타에 대한 비전은 빛나는 대체품으로서의 기능을 하도록 하는 것입니다. 이 아바타는 기업 교육을 실시하고 회사 핸드북에 조금의 매력을 더하는 것입니다. 그러나 신세지아의 딥 페이크는 기업 세계를 넘어 더 많은 논란을 불러일으키는 사용자들의 관심을 사로잡았습니다. 이들은 여러 대륙에서 가짜 정보나 암호 사기를 퍼뜨리기 위해 아바타를 사용하고 있습니다.
“우리는 많은 일을 하고 있습니다. 우리가 완벽하다고 주장하지는 않겠습니다.”라고 리파벨리는 말합니다. “이 일은 끊임없이 진화하는 작업입니다.”
리파벨리가 직면한 도전은 예상되는 일이었습니다. 회사들이 합성 미디어를 상업화하면서 생성적 AI를 단순한 도구에서 판매용 도구로 전환하는 것은 악의적인 행위자들이 이를 이용할 것입니다. 이 분야의 선두주자인 기업들은 그런 일이 일어나지 않도록 어디까지 나아갈 것인지 결정해야 하며, 그들이 만든 AI에 대한 책임을 지거나 이를 배포하는 플랫폼에 넘길 것인지 결정해야 합니다.
- 애플 ‘매직 배터리’가 비전 프로 헤드셋을 구동할 것입니다.
- 유럽의 식료품 배송 공간이 불안정한 상태에 있다는 이유
- Quizlet은 공부를 간편하게 하는 네 가지 생성 AI 도구를 출시합니다.
신세지아 소프트웨어.
신세지아는 생성적 AI 산업에서 핵심적인 위치에 항상 있었다고는 할 수 없었습니다. 6년 동안 리파벨리와 그의 공동창업자들은 어떠한 카메라 장비도 사용하지 않고 비디오를 만드는 방법을 발명하기 위해 주목받지 않는 곳에서 노력했습니다. 리파벨리는 지금 31세인데, 2017년에는 그게 매우 흥미로운 것으로 여기는 투자자들이 많지 않았다고 말합니다. 하지만 ChatGPT가 등장했습니다. 이더스 CEO는 현재 ChatGPT의 경쟁사로 알파벳이 2014년부터 소유한 딥마인드와 스태빌리티 AI(이미지 생성기 Stable Diffusion의 스타트업) 등의 회사 창업자와 함께 런던의 증가하는 AI 엘리트로 뛰어들었습니다.
6월에 신세지아는 10억 달러로 평가된 펀딩 라운드를 발표했습니다. 이것은 5월에 오픈AI가 받은 290억 달러의 가격표는 아니지만, 신세지아의 비즈니스에 대한 투자자들의 마지막 투자와 비교했을 때 7억 달러의 큰 증가입니다.
저는 줌을 통해 리파벨리와 만납니다. 그는 덴마크의 어느 섬에 위치한 가족의 휴가집에서 전화에 참여합니다. 그의 어린 시절의 침대가 그의 뒤에 있는 프레임에 보입니다. 리파벨리는 코펜하겐에서 자랐으며, 게임과 전자 음악을 통해 컴퓨터에 관심을 가지게 되었습니다. 돌이켜보면, 리파벨리는 덴마크에서 클럽이나 음악 산업으로 알려진 장소가 아닌 곳에서도 랩탑만으로 테크노 음악을 만들 수 있는 능력이 큰 영향을 미쳤다고 생각합니다. “SoundCloud나 YouTube에 훌륭한 음악을 만들고 업로드할 수 있는 사람이 누구인지에 대한 것보다는 더 많이 관심을 가진 것입니다.” 그는 비디오는 아직 많은 장비가 필요하기 때문에 동일한 수준에 이르기 위해서는 아직 멀었다고 믿습니다. “비용이 많이 드는 특성상 제한적입니다.”
졸업 후, 리파벨리는 덴마크 스타트업 씬에 진출하여 회계 소프트웨어와 같은 “바닐라” 기술을 구축했습니다. 그러나 만족스럽지 않았기에 그는 더욱 과학 소설적인 것을 찾기 위해 런던으로 이사했습니다. 암호와 가상현실 프로젝트에 참여한 후, 그는 딥페이크에 대해 읽다가 잠긴 잠자리를 깨게 되었고, 2017년에 함께 일하는 동료인 스테픈 테리와 컴퓨터 비전 교수 Lourdes Agapito와 Matthias Niessner와 함께 신세지아를 창립했습니다.
지난 6년 동안, 회사는 아바타의 놀라운 라이브러리를 구축해왔습니다. 이들은 다른 성별, 피부색, 군복으로 이용할 수 있습니다. 힙스터와 콜센터 직원들이 있습니다. 산타 클로스도 다양한 인종으로 이용 가능합니다. 신세지아의 플랫폼 내에서 클라이언트는 아바타가 사용하는 언어, 강세, 대본에서 언제 눈썹을 올릴지 등을 사용자 정의할 수 있습니다. 리파벨리는 그의 최애 아바타가 알렉스라고 말합니다. 알렉스는 전형적으로 예쁘지만 특별한 점이 없는 아바타로, 20대 중반이라고 생각되며, 갈색 중간 길이의 머리카락을 가지고 있습니다. 실제로 알렉스라는 이름의 사람이 어디선가 거리를 배회하고 있습니다. 신세지아는 자체 제작 스튜디오에서 찍은 배우들의 영상을 알고리즘에 훈련시킵니다.
데이터를 소유하는 것은 투자자에게 큰 매력이다. 벤처 캐피탈 기업 Accel의 파트너인 Philippe Botteri는 Synthesia의 최신 펀딩 라운드를 이끈 사람으로서 “기본적으로 그들의 알고리즘들이 필요로 하는 것은 3D 데이터인데, 이는 인간이 어떻게 움직이고 어떻게 말하는지를 이해하는 것이기 때문입니다”라고 말합니다. “그리고 그를 위해서는 사용 가능한 매우 구체적인 데이터 세트가 필요합니다.”
오늘날 Riparbelli는 현재 클라이언트를 등록하는 고된 작업을 수행하면서 혁신적인 기술에 대한 비전을 이야기할 수 있는 희귀한 유형의 창업자입니다. Synthesia의 내부 회사 모토는 “독창성보다 유용성”이라고 설명합니다. “우리에게 실제 비즈니스 가치가 있는 실제 시장을 위한 기술을 개발하는 것이 매우 중요합니다. 멋진 기술 데모를 만들기 위해서가 아니라” 회사는 현재 50,000명의 고객을 보유하고 있다고 주장합니다. 그러나 Riparbelli는 또한 텍스트를 사용하여 비디오 장면을 설명하고 AI가 그것을 생성할 수 있는 기술을 개발하고자 합니다. “당신이 사람들이 앞에 서 있는 영화 세트를 가지고 있다고 상상해보세요. 그리고 당신이 그들에게 무엇을 해야 하는지 말할 수 있다면” Riparbelli는 말합니다. “그것이 기술이 동작할 방식이라고 상상합니다.”
하지만 Synthesia의 기술은 먼저 발전해야 합니다. 현재 R&D 팀은 Ripbarbelli가 “기본적인 AI 기술”이라고 부르는 것에 집중하고 있습니다. 회사의 아바타들은 팔을 움직일 수 없는 보이지 않는 강도복에 갇혀 있습니다. 그리고 가짜 인간들을 자유롭게 세상에 풀어놓는 것은 예상대로 문제를 일으킵니다. Synthesia의 아바타들은 특히 회사가 Jason이라고 부르는 권위있어 보이는 딥페이크들이 소셜 미디어에서 뉴스 앵커를 흉내 내며, 불문유언을 퍼뜨리기 위해 쓰여진 대본을 읽는 것으로 알려져 왔습니다.
2021년 12월, Jason은 말리의 정치와 관련된 Facebook 페이지에 등장하여 프랑스의 지역 정치에 대해 사실 확인자들이 거짓이라고 부르는 주장을 했습니다. 그리고 2022년 말, 그는 다시 나타나서 미국이 총기 폭력에 대해 대응하지 못한 것을 비난했는데, 소셜 미디어 분석 기업 Graphika는 이 비디오를 중국 지지 봇 네트워크에 연결했습니다. 올해 1월, 사람들은 Synthesia 아바타들이 부르키나 파소에서 군사 쿠데타를 지지하는 내용을 표현하는 것을 알아냈습니다. 그리고 3월에는 팩트 체커들이 베네수엘라에서 유포되는 또 다른 Synthesia 관련 비디오에 대해 경고를 내렸는데, 이번에는 아바타 Darren이 석유 자원이 풍부한 이 나라에서의 광범위한 가난 주장이 과장되었다고 주장했습니다. 이 비디오는 니콜라스 마두로 대통령을 지지하는 계정들에 의해 홍보되었습니다. 4월에는 Synthesia의 아바타 Gary가 암호화폐 사기에서 사용되어 합법적인 CEO인 척 행동하는 것이 적발되었습니다.
Maxpread Technologies CEO의 불문유언 캠페인.
Screenshot: California DFPI
지금까지 Synthesia는 이 비디오들에 대한 책임을 지고 있으며, Riparbelli는 회사가 이러한 문제들이 밝혀진 이후로 변화를 이루었다고 주장합니다. “우리가 최근에 한 결정 중 하나는 뉴스 콘텐츠는 기업 계정에서만 허용된다는 것입니다” 그는 말하며, 기업 계정을 운영하는 사람들의 신원이 그의 팀에 의해 확인되어야 한다고 설명합니다. Synthesia가 고용하는 콘텐츠 모더레이터의 수는 올해 들어 4명에서 230명의 회사의 “약” 10% 정도로 증가했다고 Riparbelli는 말합니다. 그러나 그는 AI가 콘텐츠 모더레이션의 반응적인 방식으로 업계를 더 넓은 관점에서 점검하도록 만들고 있다고 믿습니다.
“콘텐츠 모더레이션은 기존에는 배포 지점에서 수행되었습니다. Microsoft Office는 슬라이드쇼에 대한 열악한 내용이나 Microsoft Word에서 끔찍한 선언서를 작성하는 것을 막아 온 적이 없습니다” 그는 말합니다. “하지만 이러한 기술들이 너무 강력하기 때문에 우리가 지금 보고 있는 것은 모더레이션이 점점 창조 지점으로 이동하고 있는 것입니다. 그것은 우리가 하는 일과도 같습니다.”
Synthesia는 사용자가 서비스 약관에 어긋나는 콘텐츠를 작성하는 것을 막는다고 그는 말합니다. 악의적인 사용자는 악성 스크립트를 작성할 수 있을지 몰라도, 그가 주장하는 대로 인간과 알고리즘 기반의 모더레이팅 시스템의 조합은 딥페이크가 그것을 읽지 못하도록 방지할 것입니다. 그 서비스 약관에는 아바타가 정치, 종교, 인종 또는 성적 측면에 대해 이야기하는 것이 금지되어 있다고 명시되어 있습니다. “인권 운동가로서 그들은 내가 원하는 것보다 더 제한적입니다”라고 Gregory of Witness는 말합니다. 그러나 Synthesia는 사회적인 미디어 플랫폼과는 다른 자유 언론 책임을 지지 않는다는 점에서, 제한적인 약관이 영리할 수도 있다고 그는 덧붙입니다. “왜냐하면 그것은 우리가 콘텐츠 모더레이션을 충분히 수행하지 못한다는 것을 말하기 때문입니다. 그리고 우리의 주요 사업은 허위 정보에 사용할 수 있는 더 넓은 범위의 정치적, 사회적 이야기 주위의 콘텐츠 모더레이션은 아닙니다.”
컨텐츠 모더레이션을 올바르게 수행하는 것이 Riparbelli가 그가 꿈꾸는 종류의 아바타를 추구할 수 있는 열쇠가 될 것입니다. 그는 합성 비디오가 텍스트가 인쇄에서 온라인으로 점프한 것과 같은 진화를 따라야 한다고 말합니다. “첫 번째 웹사이트는 당시 사람들이 상상할 수 있는 것이 신문처럼 화면에 표시되었습니다,” 그는 말합니다. “하지만 웹사이트에서 발생한 일은 사람들이 실제로 링크, 오디오, 비디오를 넣을 수 있고 모든 개인에게 맞춤형 뉴스피드를 만들 수 있다는 것을 깨달았다는 것입니다… 나는 동일한 일이 비디오에서 발생할 것이라고 생각합니다.”
Synthesia의 딥페이크에 대해 이러한 진화는 무엇을 의미할까요? “개인화와 같은 것은 명백할 것입니다. 그리고 상호작용도 큰 부분이 될 것입니다. 당신이 비디오를 시청하는 대신 AI와 함께 Zoom 통화에 있는 것과 같을 것입니다.”
