마이크로소프트의 레드 팀은 2018년부터 AI를 모니터링해왔습니다. 다음은 다섯 가지 큰 인사이트입니다.
Microsoft's Red Team has been monitoring AI since 2018. Here are five major insights.
지난 6개월 동안 인공지능의 긍정적인 영향이 이전보다 더 강조되었지만, 위험 또한 강조되었습니다.
인공지능의 최고의 장점은 사람들이 일상적인 작업을 더 쉽게 완료할 수 있게 해주고, 다양한 산업에서 혁신을 창출하여 작업 방식을 혁신할 수 있다는 것입니다.
하지만 최악의 경우, 인공지능은 잘못된 정보를 생성하거나, 유해하거나 차별적인 콘텐츠를 생성하며, 보안 및 개인 정보 보호에 관련된 위험을 야기할 수 있습니다. 그래서 모델이 공개되기 전에 정확한 테스트를 수행하는 것은 매우 중요하며, Microsoft는 이미 5년 동안 그렇게 하고 있습니다.
또한: Microsoft는 Bing AI를 더 많은 브라우저로 확장하고 있습니다 – 하지만 한 가지 제한 사항이 있습니다
ChatGPT 붐이 시작되기 전에 이미 인공지능은 혁신적인 신흥 기술이었으며, 이에 따라 Microsoft는 2018년에 AI 레드 팀을 구성했습니다.
- 반달들이 당신의 메타버스를 망치고 있나요? 애플의 새로운 특허로 가상...
- Nvidia는 AI를 위한 ‘슈퍼칩’ Grace-Hopper를 더 빠른 메모...
- 공식적으로, 아마존은 10월에 두 번째 프라임 데이 세일을 개최할 예정...
AI 레드 팀은 “공격자처럼 생각하고” “AI 시스템을 실패시키기 위해 AI 시스템을 조사하는” 다학제 전문가들로 구성되어 있습니다.
출시 후 약 5년이 지난 지금, Microsoft는 레드 팀의 실천 사례와 배운 점을 공유하여 책임 있는 AI 구현을 위한 모범 사례를 제시하고 있습니다. 회사에 따르면, 기본 모델 수준과 응용 프로그램 수준에서 AI 모델을 테스트하는 것이 필수적입니다. 예를 들어, Bing Chat의 경우, Microsoft는 GPT-4 수준과 GPT-4를 사용한 실제 검색 경험 모두에서 AI를 모니터링했습니다.
“이 두 수준은 각각 고유한 장점을 가지고 있습니다: 예를 들어, 모델의 레드 팀을 구성하여 프로세스 초기에 모델이 어떻게 오용될 수 있는지, 모델의 능력 범위를 파악하고, 모델의 한계를 이해하는 데 도움이 됩니다,”라고 Microsoft는 말합니다.
회사는 5년 동안 얻은 AI 레드 팀에 대한 다섯 가지 주요 통찰력을 공유하고 있습니다.
첫 번째로, AI 레드 팀은 평범한 보안 테스트뿐만 아니라 공정성과 유해한 콘텐츠 생성과 같은 요소들을 테스트하는 기법의 통합입니다.
두 번째로, 악의적인 사례에 초점을 맞추는 것 외에도, 악성 사용자가 기술을 사용하는 방식뿐만 아니라 일반 사용자에게 유해한 콘텐츠를 생성하는 방식도 테스트하는 것이 중요합니다.
“새로운 Bing에서 AI 레드 팀은 보안에 중점을 둔 기법과 공격 기술을 통해 악의적인 공격자가 AI 시스템을 탈의할 수 있는 방법뿐만 아니라 일반 사용자가 시스템과 상호 작용할 때 시스템이 문제가 되고 유해한 콘텐츠를 생성할 수 있는 방법에도 집중했습니다,”라고 Microsoft는 말합니다.
세 번째 통찰력은 AI 시스템이 지속적으로 발전하고 있다는 것이며, 결과적으로 이러한 AI 시스템을 여러 다른 수준에서 레드 팀이 테스트하는 것이 필요하다는 것입니다. 이는 다섯 번째 통찰력으로 이어지는데, 생성 모델 AI 시스템의 레드 팀 테스팅은 여러 번의 시도가 필요합니다.
또한: 이번 주 ChatGPT는 다양한 업데이트를 받습니다. 알아두어야 할 사항은 다음과 같습니다
생성 모델 AI 시스템과 상호 작용할 때마다 다른 결과를 얻을 수 있으므로, Microsoft는 시스템의 결함을 놓치지 않기 위해 여러 차례의 레드 팀 테스트를 수행해야 한다고 결론짓습니다.
마지막으로, Microsoft는 AI 실패를 완화하기 위해 깊이 있는 방어가 필요하다고 말하며, 이는 레드 팀이 문제를 확인하면 다양한 기술적 조치를 취하여 문제를 해결해야 한다는 것을 의미합니다.
Microsoft가 설정한 이러한 조치는 신흥 AI 시스템에 대한 우려를 완화하고, 해당 시스템에 포함된 위험을 완화하는 데 도움이 될 것입니다.
