사기꾼들이 ChatGPT를 사용하여 X에 암호화폐 봇넷을 발동시켰다
사기꾼들이 ChatGPT를 사용하여 암호화폐 봇넷을 발동시켰다
ChatGPT는 웹 검색을 혁신하고 사무실 업무를 간소화하며 교육을 재구성할 수도 있지만, 원활한 대화형 챗봇은 또한 소셜 미디어 암호폐쇄상인으로도 일하고 있습니다.
인디애나 대학교 블루밍턴에서 연구원들은 올해 5월 X라고 알려진 소셜 네트워크에서 ChatGPT를 구동하는 봇넷을 발견했습니다. 이 봇넷은 암호화폐 웹사이트와 관련된 몇 가지 변형을 가진 동일한 이름을 사용하는 1,140개의 계정으로 구성되어 있었습니다. 이들 중 많은 계정들은 사회적인 미디어 게시물을 작성하고 서로의 게시물에 답글을 다는 데 ChatGPT를 사용하는 것처럼 보였습니다. 자동 생성된 콘텐츠는 아마도 경고 없이 사람들을 암호화폐 홍보 사이트로 유인하기 위해 설계된 것으로 보입니다.
인공지능 기반의 디스인포메이션을 연구한 Micah Musser는 대화형 챗봇과 대형 언어 모델이 얼마나 인기 있어졌는지 고려할 때, Fox8 봇넷은 빙하의 일각에 불과할 수 있다고 말합니다. Musser는 “이것은 낮게 매달린 열매입니다”라고 말합니다. “하나의 캠페인을 찾을 때마다 더 정교한 작업을 하는 다른 캠페인이 많이 있을 가능성이 매우 높습니다.”
Fox8 봇넷은 확장되었을 수도 있지만, ChatGPT의 사용은 분명히 정교하지 않았습니다. 연구원들은 ChatGPT가 민감한 주제에 대한 프롬프트로 때때로 사용하는 “As an AI language model …”라는 구문을 플랫폼에서 검색함으로써 이 봇넷을 발견했습니다. 그들은 그런 후에 계정들을 수동으로 분석하여 봇에 의해 운영되는 것으로 보이는 계정들을 식별하였습니다.
인디애나 대학교 블루밍턴의 교수인 Filippo Menczer는 “우리가 이 특정 봇넷을 발견한 유일한 이유는 그들이 미숙했기 때문입니다”라고 말합니다. 그러나 봇넷은 암호화폐 사이트를 홍보하는 설득력 있는 메시지를 많이 게시했습니다. OpenAI의 인공지능이 이 사기에 사용되는 것처럼 보이는 것은 고급 챗봇들이 아직 검출되지 않았을 수도 있는 다른 봇넷을 운영하고 있을 수 있다는 것을 의미합니다. Menczer는 “모든 좋은 악당들은 그러한 실수를 하지 않을 것입니다”라고 말합니다.
게시 시점까지 OpenAI는 봇넷에 대한 의견 요청에 응답하지 않았습니다. 그들의 AI 모델 사용 정책은 사기나 디스인포메이션에 사용할 수 없다고 명시하고 있습니다.
ChatGPT 및 기타 최첨단 챗봇은 프롬프트에 대한 응답으로 텍스트를 생성하기 위해 대형 언어 모델을 사용합니다. 충분한 훈련 데이터(웹의 다양한 소스에서 크롤링한 것이 대부분), 충분한 컴퓨터 성능 및 인간 테스터로부터의 피드백을 통해 ChatGPT와 같은 봇은 다양한 입력에 대해 놀랍도록 정교한 방식으로 응답할 수 있습니다. 동시에, 그들은 혐오 메시지를 내뱉을 수도 있으며 사회적 편견을 드러낼 수도 있으며, 허위 정보를 만들어 낼 수도 있습니다.
올바로 구성된 ChatGPT 기반의 봇넷은 검출하기 어려울 뿐만 아니라 사용자를 속이기에 더 능숙하며, 소셜 미디어에서 콘텐츠 우선순위를 정하는 알고리즘을 조작하는 데 더 효과적일 것입니다.
Menczer는 “이 봇넷의 ChatGPT 기반은 플랫폼과 사용자를 속입니다”라고 말합니다. 게시물이 다른 봇 계정들의 참여로 인한 많은 관심을 받는 것을 소셜 미디어 알고리즘이 감지하면, 그 게시물은 더 많은 사람들에게 보여집니다. Menczer는 “그것이 이 봇들이 그렇게 행동하는 정확한 이유입니다”라고 말합니다. 그리고 디스인포메이션 캠페인을 전개하려는 정부들은 이미 이러한 도구를 개발하거나 사용하고 있을 가능성이 가장 높다고 그는 덧붙입니다.
ChatGPT의 기술이 디스인포메이션 위험을 야기할 수 있다는 우려는 오랫동안 있었으며, OpenAI는 이러한 우려 때문에 이 시스템의 선구자인 이전 버전의 공개를 연기했습니다. 그러나 지금까지 대규모로 대형 언어 모델이 오용되는 구체적인 사례는 몇 가지 없습니다. 일부 정치 캠페인에서는 이미 상대방을 비하하기 위해 딥페이크 비디오를 공유하는 등 인공지능을 사용하고 있습니다.
캘리포니아 대학교 샌타바버라의 교수인 William Wang는 ChatGPT의 실제 범죄 사용을 연구할 수 있는 것이 흥미롭다고 생각합니다. “그들의 연구 결과는 꽤 멋진 것입니다”라고 그는 말합니다.
Wang는 현재 많은 스팸 웹 페이지가 자동으로 생성되고 있으며, 인간들이 이러한 콘텐츠를 인식하는 것이 점점 어려워지고 있다고 말합니다. 그리고 인공지능이 계속해서 발전하면서 상황은 더욱 어려워질 것입니다. “상황은 상당히 안 좋습니다”라고 그는 말합니다.
이번 5월에 Wang의 연구실은 ChatGPT가 생성한 텍스트를 실제 인간의 글쓰기와 자동으로 구별하는 기술을 개발했지만, OpenAI의 API를 사용하기 때문에 비용이 많이 든다고 말합니다. 그리고 그는 기반이 되는 인공지능이 계속해서 개선되고 있다고 지적합니다. “이것은 고양이와 쥐의 문제입니다”라고 Wang는 말합니다.
X는 이러한 도구들을 테스트하기에 적합한 대상일 수 있습니다. Menczer는 일종의 악성 봇들이 트위터로 알려져 있던 것을 인수한 이래로 악성 봇들이 훨씬 더 일반적으로 보이게 된 것으로 보입니다. 그리고 API 사용에 부과된 가파른 가격 인상 때문에 연구자들이 문제를 연구하는 것이 더 어려워졌습니다.
언젠가 X에서는 Menczer와 Yang이 7월에 논문을 발표한 후에 Fox8 봇넷을 해체한 것 같다. Menczer의 그룹은 트위터에 플랫폼의 새로운 연구 결과를 알리기 위해 사용되었지만 이제는 X와는 그렇게 하지 않는다. “그들은 실제로 응답하지 않는다,” Menczer는 말한다. “그들은 직원이 별로 없다.”
