Meta의 오픈 소스 람마, 인공지능 경마를 혼란스럽게 만든다
Meta의 오픈 소스 람마, 인공지능 경마 혼란스럽게
5월에 구글 연구원이 작성한 것으로 보이는 익명의 메모가 온라인으로 유출되었습니다. 이 메모는 OpenAI로부터의 텍스트 생성 기술의 경쟁적 위협에 대해 경영진들이 언쟁하고 있는 동안, 오픈 소스 소프트웨어가 “조용히 점심을 먹고 있다”고 주장했습니다.
이 메모는 초기에는 연구자들에게만 초대를 통해 사용 가능한 메타의 대규모 언어 모델인 Llama를 언급하며, 이 모델이 4Chan에 유출된 뒤에 프로그래머들 사이에서 인기를 얻고, 프로젝트를 적용하고 확장하는 사람들이 빠르게 늘어났다고 언급했습니다. 출시된 지 몇 주 후에는 Alpaca와 Vicuna라는 변형 모델들이 ChatGPT와 거의 비슷한 수준의 성능을 발휘할 수 있었으며, 노트북 컴퓨터에서도 사용자 정의가 가능했습니다. 유출된 구글 메모는 “커뮤니티에 미치는 영향은 과장할 수 없다”며 “갑자기 누구나 실험할 수 있게 되었다”고 언급했습니다.지난 주, 메타는 Llama 2라는 예상치 못한 인기를 얻은 모델의 두 번째 버전을 공개했습니다. 이번에는 처음부터 오픈 소스로 공개되었으며 상업적 이용에도 무료로 제공됩니다. 새로운 버전은 원래 모델보다 40% 더 많은 데이터를 사용하여 만들어졌으며, 이 모델을 사용하여 제작된 챗봇은 OpenAI의 ChatGPT와 유사한 결과물을 생성할 수 있다고 메타는 주장합니다. ChatGPT, 구글의 Bard 및 최근에 출시된 다른 생성 AI 모델과 마찬가지로 Llama 2를 만드는 데에도 수백만 달러의 비용이 들었을 것으로 예상됩니다. 그러나 메타의 시스템만이 개발자들, 스타트업 및 모델의 사용자 정의 변형을 만들고 싶은 다른 이들에게 무료로 제공됩니다. 메타의 Llama 2는 더 저렴한 옵션을 제공함으로써 소규모 회사나 개발자들이 새로운 제품과 서비스를 더 쉽게 만들 수 있으며, 현재의 AI 붐을 가속화할 수 있습니다.
메타는 Llama 2만 제공하지 않습니다. AI 스타트업인 Hugging Face, Databricks 및 OctoML을 포함한 주요 파트너들이 이미 고객에게 모델을 제공하고 있습니다.
OpenAI에 100억 달러를 투자한 마이크로소프트는 여전히 Llama 2 다운로드를 개발자들에게 제공하여 클라우드나 Windows에서 사용할 수 있게 할 것입니다. 지난 주 마이크로소프트 고객을 위한 회의에서 CEO인 사티아 나델라는 개발자들이 오픈 소스 AI와 OpenAI의 소유권 제품을 함께 사용할 수 있다는 사실에 대해 흥분을 얘기했습니다. 아마존의 클라우드 부문인 AWS도 Llama 2에 대한 액세스를 제공합니다.
메타의 생성 AI 부사장인 암마드 알달레는 첫 번째 Llama 모델의 유출이 Llama 2에 대한 회사의 새로운 전략에 어떤 역할을 했는지 말하지 않습니다.
- 이스라엘의 기술 회사들은 네타냐후 대통령과 싸우고 있거나 스타트업 ...
- 1990년대 초반 애플 운동화, 이제 5만 달러에 판매 중
- AI 스타트업이 시장에서 ‘가장 빠른 데이터 처리 엔진’을 ...
“메타의 역사를 돌아보면, 우리는 오픈 소스의 열려있는 지지자였습니다.” 그는 기계 학습을 다루는 개발자들에게 인기있는 도구인 PyTorch의 예를 들며, “연구자들을 초월하여 이러한 모델을 개선하고 작업하기 위한 수요가 있다는 것을 알았기 때문에 이를 통해 커뮤니티를 구축하는 것이 주요 동기 중 하나였다”고 말했습니다. 알달레는 이미 Llama 3의 개발이 진행 중이라고 말하지만, 어떤 점에서 다를지에 대해서는 명시하지 않았습니다.
Llama 2가 오픈 소스 AI 분야의 선두주자로서 메타에게 신뢰성을 부여하지만, 공개의 모든 측면을 오픈 소스로 설명할 수는 없습니다. 이 모델을 만들기 위해 사용된 훈련 데이터는 “온라인으로 공개된 소스”로만 기재되어 있으며, 회사는 모델의 생성에 대한 자세한 내용을 제공하지 않을 것입니다.
메타의 Llama 2 라이선스는 월간 활성 사용자가 7억 명 이상인 기업들이 메타와 별도의 라이선스 계약을 체결하도록 요구합니다. 이에 대해서는 명확한 이유는 없지만, 이 조항은 다른 기술 거물들이 이 시스템을 바탕으로 개발하는 데 장벽을 만들어냅니다. 이 모델은 또한 수용 가능한 사용 정책을 가지고 있으며, 악성 코드 생성, 폭력 조장, 범죄 행위, 남용 또는 괴롭힘을 금지합니다. 메타는 Llama 2가 이 정책을 위반하여 사용될 경우 어떤 조치를 취할 지에 대한 질문에 대답하지 않았습니다.
시애틀의 Madrona Ventures의 투자자인 존 투로우는 메타의 첫 번째 Llama 모델의 배포를 제한하려고 하는 것에서 두 번째 모델을 오픈 소스로 전환하는 것이 대규모 언어 모델을 사용한 창의성의 새로운 물결을 가능하게 할 수 있다고 말합니다. “개발자들과 기업가들은 매우 창의적이며, 그들은 Llama 2에서 어떤 것을 뽑아낼 수 있는지 알아낼 것입니다.”라고 그는 말합니다.
투로우는 메타가 이번 달에 Llama 2를 공개함으로써 구글이 2007년에 Apple의 iOS에 대항하기 위해 Android 모바일 운영 체제를 출시한 것과 유사한 선택을 한다고 말합니다. 저렴하지만 강력한 대안을 제공함으로써, 메타는 OpenAI가 개발한 종속 시스템과 같은 소유권 시스템에 대항할 수 있으며, 이를 통해 혁신을 일으켜 메타의 제품과 서비스를 개선하는 아이디어를 되돌려줄 수 있습니다.
Hugging Face의 AI 연구원인 네이선 램버트는 ChatGPT와 동등한 수준으로 오픈 소스로 공개된 첫 번째 모델은 Llama 2라고 말합니다. 그는 메타가 모델의 개발에 대한 제한된 공개로 인해 이 프로젝트를 실제로 오픈 소스로 간주하지 않지만, 자신의 소셜 미디어 피드에서 본 Llama 2의 다양한 변형 모델들의 수에 놀랍습니다. 최근에 Hugging Face에서 트렌드인 10개 중 8개는 대화형 텍스트 생성을 위해 만들어진 Llama 2의 변형 모델입니다.
“Llama 2는 AI 분야에서 올해의 가장 큰 이벤트라고 할 만한 사례가 있다고 생각합니다,” 램버트는 말합니다. 그는 현재 전용 모델이 우위를 차지하고 있지만, Llama의 이후 버전은 따라잡을 것이라고 믿으며, 곧 사람들이 현재 ChatGPT를 사용하는 대부분의 작업을 수행할 수 있게 될 것이라고 말합니다.
램버트는 또한 Llama 2의 출시로 인해 아직 몇 가지 질문이 미해결 상태라고 말하며, 이는 훈련 데이터의 문서화 부족 때문이기도 합니다. 또한, Meta, Google, Microsoft, OpenAI와 같은 주요 플레이어들만이 대규모 언어 모델을 선도하기 위해 필요한 컴퓨팅 자원과 인력을 갖출 수 있다는 사실은 여전히 사실일 것입니다.
하지만 그는 OpenAI의 전용 접근 방식의 성공에도 불구하고, 언어 모델들이 투명성의 시대로 전환되고 있다고 희망적입니다. 백악관과 7개 주요 AI 기업 간의 자발적인 합의는 배포 전 잠재적인 차별 또는 사회 또는 국가 보안에 대한 영향과 같은 사항들에 대한 테스트를 요구하고 있습니다.
이러한 추세는 AI 시스템에 대한 법적 책임에 대한 점점 더 많은 질문과 악의적인 개체들이 오픈 소스 모델을 사용하기 시작할 것을 우려하는 정치인들로부터 점점 더 많은 규제 압력으로 도전받을 수도 있습니다.
구글의 AI 개발을 이끄는 AI 연구자인 데미스 하사비스와 마찬가지로 투로우는 유출된 구글 메모에서 제기된 주장에 동의하지 않습니다. 그는 데이터, 인재, 컴퓨팅 자원에 대한 접근성이 가장 큰 기술 기업들을 계속해서 보호할 것이지만, 그들을 무적으로 만들지는 않을 것이라고 생각합니다.
그는 현재 스타트업과 연구자들이 Llama 2로 무엇을 할지 지켜보고 있으며, Meta의 첫 번째 모델과 같이 빠르게 개선될 것으로 기대하고 있습니다. 그는 이것이 스타트업과 AI 분야 전반에 새로운 가능성을 만들어낼 것이라고 말합니다. “우리는 오픈 소스가 계속해서 발전해 나가는 것을 보고 있으므로, 초기 선두자들을 뒤엎을 수 있는 놀라운 일들이 있을 수도 있습니다,” 투로우는 말합니다. “어떤 일이 벌어질지는 모르겠습니다.”
