AI 비평가인 게리 마르커스(Gary Marcus)는 ‘메타’의 르쿤(LeCun)이 내가 몇 년 전에 말한 것들을 드디어 인정하고 있다

AI 비평가인 게리 마르커스는 '메타'의 르쿤이 내가 말한 것들을 인정하고 있다

NYU Professor Emeritus Gary Marcus, 인공지능에 대한 혹평을 자주 내놓는 사람으로, 최근에 ENBLE과의 인터뷰에서 Meta의 주요 AI 과학자 인 Yann LeCun의 의견에 대한 반박을 제시하기 위해 앉아 있었습니다. LeCun은 9월에 LeCun과의 ENBLE 인터뷰에서 더욱 정교한 AI를 위한 경로로 심볼 조작에 대한 Marcus의 주장에 의심을 제기했습니다. 또한 LeCun은 Marcus가 AI 저널에 피어 리뷰 논문을 발표하지 않았다고 언급했습니다.

Marcus는 실제로 피어 리뷰 논문을 발표했으며, 아래의 인터뷰에서 해당 목록이 나타납니다. 그러나 Marcus의 반박은 소셜 미디어에서 몇 년 동안 서로 싸웠던 두 사람 사이의 갈등에 더 실질적으로 대응합니다.

Marcus는 LeCun이 Marcus의 아이디어에 실질적으로 참여하지 않았다고 주장하며, 단순히 그것들을 무시했습니다. 그는 또한 다른 학자들에게도 공정한 청취 기회를 주지 않았다고 주장하며, AI와 인과 관계에 대한 의견으로 주목받는 작업을 수행한 Judea Pearl과 같은 학자들에게도 공정한 청취 기회를 주지 않았다고 주장합니다.

Marcus는 딥러닝 연구자들이 비판을 제기하거나 다른 조사 방법을 강조하는 딥러닝 이외의 동료들을 무시하는 경향이라는 패턴의 일부라고 주장합니다. “돈도 많고 인정도 많은 사람들이 다른 사람들을 밀어내려고 노력하고 있습니다,”라고 LeCun과 다른 딥러닝 학자들에 대해 Marcus가 말했습니다. 그는 컴퓨터 언어학자 Emily Bender의 용어를 빌려 “방에서 산소를 흡입하고 있다”고 말합니다.

Marcus는 Marcus의 관점에서 Marcus와 LeCun 사이의 갈등은 Marcus가 몇 년 동안 제기해온 많은 비판에 LeCun이 마침내 동의하게 된 것에 대해 이상하다고 봅니다. “그는 실제로 내가 틀렸다고 말했던 모든 것들이 진실이라고 말한 것 같았습니다,” Marcus는 말했습니다. Marcus는 2019년의 ‘Rebooting AI’ (Ernie Davis와 함께)를 포함한 책과, 훨씬 이전의 작품인 ‘The Algebraic Mind’를 통해 딥러닝에 대한 강한 의견을 표명했으며, 2018년의 “Deep Learning: A Critical Appraisal”을 비롯한 다양한 논문에서도 그의 의견을 표명했습니다.

사실, 두 학자 사이의 공통점은 “LeCun과 나는 다른 세계에서 동맹이 될 것입니다,”라고 Marcus가 말하는 것처럼 서로 매우 일치합니다.

또한: Meta의 AI 전문가 LeCun: 오늘날의 대부분의 AI 접근법은 진정한 지능으로 이어지지 않을 것이다

“LeCun과 내가 일치하는 가장 중요한 점은 규모 자체만으로는 충분하지 않다는 것입니다,” Marcus는 말했습니다. 이는 GPT-3와 같은 신경망의 점점 더 큰 버전을 만드는 것이 중요한 지능을 이루는 데에 자체적으로 이끌지 못할 것이라는 의미입니다.

이 두 학자 사이에는 여전히 근본적인 불일치가 남아 있습니다. Marcus는 ‘The Algebraic Mind’부터 극적으로 ‘적성’이라고 주장하며, 이것은 지성에 구조를 부여하기 위해 마음에 ‘인간’이라는 것입니다. “내 의견은 생물학을 보면 우리는 그저 적성의 거대한 혼합물이라는 것입니다,” Marcus는 말했습니다. 그는 LeCun은 모든 것을 배우고 싶어하는 것이라고 말했습니다. “LeCun의 AI에 대한 가장 큰 기여는 합성곱의 선천적인 우선순위, 어떤 사람들은 번역 불변성이라고 부르는 것입니다,” Marcus가 말했습니다. 이는 합성곱 신경망을 의미합니다.

두 연구자보다 크고, 두 사이의 분쟁보다 큰 것은 AI가 항상 꿈꾸는 종류의 지능을 달성하기 위한 명확한 방향이 없다는 사실입니다.

“AI에는 가능한 아키텍처 공간이 있습니다,” Marcus가 말했습니다. “우리가 연구한 대부분은 그 공간의 작은 한 구석에 불과합니다. 그 구석은 제대로 작동하지 않고 있습니다. 문제는, 그 구석에서 벗어나 다른 곳을 살펴볼 수 있는 방법은 무엇인가?”

다음은 인터뷰 내용 중 일부입니다.

Marcus의 현재 AI에 대한 글을 확인하려면 그의 Substack을 참조하십시오.

ENBLE: 이 대화는 최근에 Meta의 Yann LeCun과의 ENBLE 인터뷰에 대한 응답으로 진행되었으며, 그 인터뷰에 대해 어떤 중요한 점을 언급해야 할까요?

Gary Marcus: LeCun은 최근에 ENBLE 인터뷰, Noema의 기사, 그리고 트위터와 페이스북에서 나를 많이 비판해 왔지만, LeCun이 실제로 내가 말한 내용을 얼마나 읽었는지는 여전히 모릅니다. 그리고 여기서의 긴장감의 일부는 종종 제 작업을 읽지 않고 제목과 같은 것들만으로 비판했다는 사실에 있습니다. 저는 2018년에 “딥러닝: 비판적 평가”라는 글을 썼고, 그를 읽은 즉시 그는 트위터에서 공개적으로 비난했습니다. 그는 그 글이 “대부분 틀렸다”고 말했지만, 그 중 어떤 부분이 틀렸는지에 대해 저에게 말하지는 않았습니다.

인공지능

• 7가지 고급 ChatGPT 프롬프트 작성 팁
• 2023년 최고의 ChatGPT 플러그인 10가지 (그리고 그들을 최대한 활용하는 방법)
• 제가 일을 위해 많은 AI 도구를 시험해봤습니다. 지금까지 가장 좋아하는 5가지입니다.
• 인간인가 인공지능인가? 이 튜링 테스트 게임은 AI 감지 능력을 시험합니다.

그는 그 글이 우리가 딥러닝을 버려야 한다고 말한다고 생각하는 것 같습니다. 그러나 저는 그것에 대해 여러 번 고쳤습니다. 실제로 논문을 읽으면 딥러닝은 그저 많은 도구 중 하나라고 생각하고, 우리는 또 다른 것도 필요하다고 말하고 있습니다.

어쨌든, 그는 이 논문을 이전에 공격했고, 그는 큰 선배입니다. [2018년] 그 당시에는 Facebook AI를 운영하고 있었고, 지금은 Facebook의 주요 AI 과학자이자 부사장입니다. 그는 튜링상 수상자입니다. 그의 말은 중요한 가치가 있습니다. 그가 누군가를 공격하면 사람들이 따르게 됩니다.

물론, 우리는 서로의 글을 모두 읽을 필요는 없지만, 읽지 않은 상태에서 대부분이 틀렸다고 말하는 것은 공정하지 않습니다. 그리고 저에게는 약간의 권력 남용 같은 느낌이었습니다. 그리고 그런데 그와의 인터뷰를 들었을 때 정말 놀랐습니다. 그는 제가 그 논문에서 제기한 모든 것들을 주장하는 것처럼 들렸는데, 그것들은 그가 틀렸다고 말한 것들이었습니다.

그것은 나에게는 꽤 짜증나는 일이었을 것입니다 – 아무리 학자라도 인용되지 않는 것을 좋아하지 않습니다 – 하지만 그는 내가 피어 리뷰된 AI 저널에 아무것도 출판하지 않았다고 말했습니다. 그것은 사실이 아닙니다. 아마 그는 사실 확인하지 않았을 것입니다. 당신도 그렇게 하지 않았습니다. 친절하게 그것을 수정해 주셨습니다.

ENBLE: 사실 확인을 하지 않아서 죄송합니다.

[Marcus는 인공지능 저널에서의 여러 피어 리뷰된 논문들을 언급합니다: 인공지능에서 극도로 불완전한 정보를 사용한 컨테이너에 대한 상식적 추론; 컨테이너의 경우 극도로 불완전한 정보로부터 추론하는 것에 대해 인지 시스템의 발전에서의 컨테이너에 대한 고찰; 인공지능에서 자동 추론에 대한 시뮬레이션의 범위와 한계; ACM 통신에서의 상식적 추론과 상식적 지식; 제거적 연결주의를 재고하다, 인지 심리학)]

GM: 이런 일들이 발생합니다. 약간은 권위자가 무언가를 말하면 그저 믿는 것 같습니다. 맞습니다. 그는 Yann LeCun입니다.

ENBLE: 사실 확인이 필요합니다. 그것에 동의합니다.

GM: 어쨌든, 그가 그렇게 말했습니다. 저는 그를 고쳤습니다. 그는 결코 공개적으로 사과하지 않았습니다. 그래서, 어쨌든, 그곳에서 내가 일찍부터 말하고 있는 것들을 말하면서 나를 공격하는 것은 재평가의 일부였습니다. 그리고 나는 이 Substack 글에서 그 사례를 제시했습니다: “Yann LeCun의 ‘새로운’ 아이디어가 얼마나 새로운가?”

그리고 거기서 내가 말한 것은 사실 그가 역사를 재작성하려고 하고 있다는 것이다. 나는 많은 예를 들었다. 요즘 사람들이 말하는 대로 영수증을 가져왔다. 호기심있는 사람들은 그것을 읽어볼 수 있다. 나는 모든 주장을 여기서 반복하고 싶지 않지만, 이것을 다차원에서 본다. 이제, 어떤 사람들은 그것을 보고 “이것에 대해 르쿤은 처벌받을 것인가?”라고 생각했다. 그리고 당연히 그 대답은 아니라는 것이다. 그는 권력이 있다. 권력 있는 사람들은 일반적으로 벌을 받지 않는다거나 드물게 벌을 받는다.

또한: 인상을 받을 생각을 뿜는 것을 저항하며, 우리가 AI에 대해 이야기할 때 우리가 얘기하는 것

하지만 더 깊은 포인트가 있다. 나 혼자가 아니라고 개인적으로 화가 나고 놀란 것 외에도, 나와 같은 기분을 느끼는 사람들이 있다. [Substack 기사]에서 [Jürgen] Schmidhuber [인공지능에 대한 IDSIA Dalle Molle 연구소의 부교수]에 대한 예를 들었다. 사이에 저주 [주다이아 퍼를] 받지 않은 것으로 알려진 주데아 퍼를 튜링상 수상자인 야안처럼, 그 역시 메인스트림 기계학습 커뮤니티에서 그의 작업이 언급되지 않았다고 생각한다. 퍼는 “르쿤은 마르쿠스에게 못된 짓을 했지만, 나조차 언급조차 하지 않았다”라고 매우 비판적인 방식으로 말했다. 그리고 이것은 한 튜링상 수상자가 다른 튜링상 수상자를 인용하지 않는다는 것이 꽤 결정적인 사실이다.

르쿤은 인과성에 대해 생각하고, 우리 모두가 인과성 분야에서 리더인 퍼를 알고 있다. 그렇다고 해서 퍼가 모든 문제를 해결한 것은 아니지만, 그는 기계 학습에게 왜 인과성이 중요한지 주목을 요구하는데 다른 누군가보다 더 기여를 했다. 그는 그것에 대한 형식적인 기계를 더 기여했다고 볼 수 있다. 나는 그가 그 문제를 해결한 것은 아니라고 생각하지만, 그는 그 문제를 개방했다. [르쿤에게] “나는 세계 모델을 구축할 것이다”라고 말하는 것은, 세계 모델은 인과성을 이해하는 것과 관련이 있으며, 퍼를 무시하는 것이 충격적이다.

그리고 이것은 “여기서 발명되지 않았다”라는 스타일의 일부이다. 이제, 아이러니한 점은, 르쿤이 인터뷰에서 말한 것들 – 내에 대한 것이 아니라 현장의 상태에 대한 것 – 그는 아마도 자체적으로 깨달은 것 같다. 나는 [Substack] 기사에서 그렇게 말했다. 그러나, 왜 이런 일들을 알기까지 4년이나 기다려야 하는 걸까. 당신의 NYU 이웃이 뭔가 말할 수 있는데.

그는 또한 몇 년 전 트위터에서 Timnit Gebru [구글 이전 연구원이자 Distributed Artificial Intelligence Research Institute, DAIR의 창립자이자 사장]와 큰 싸움을 벌였다. 원한다면 그것을 검색해 볼 수 있다. 그래서 그(르쿤)는 심히 Timnit을 괴롭혔다. 그는 Schmidhuber의 공헌을 경시한다. 그는 Pearl의 공헌을 경시한다. 그래서 현재 기계 학습이 올바르게 수행되는 방식의 명예를 지키기를 원하는 많은 사람들처럼, 그는 나를 귀신화했다. 그리고 그것은 [ENBLE 인터뷰]에서 그가 나에 대해 꽤 직접적으로 공격했다는 것을 볼 수 있다.

나의 견해로는, 이 모든 것은 다른 사람들을 제쳐놓으려는 많은 돈과 인정을 가진 사람들이 있는 것의 일부이다. 그들은 이 아이러니를 실제로 인식하지 못하고 있다. 왜냐하면 그들 자신들도 2012년까지는 제쳐놓혔기 때문에. 그래서 그들은 정말 좋은 아이디어를 가지고 있었고, 그 좋은 아이디어들은 2010년에는 그리 좋아 보이지 않았다. 이것에 대한 내가 가장 좋아하는 인용구는 여전히 에밀리 벤더에게 속한다. 그녀가 말했다. 이 문제의 문제는 그들이 방에서 공기를 빨아들이고, 다른 사람들이 다른 접근 방식을 추구하기 어렵게 만들고, 그 접근 방식들과 관여하지 않으면서, 그들이다.

르쿤이 참여하지 않는 전체적인 신경 기호적 AI 분야가 있다. 때때로 무리하다고 비난하기도 한다. 2018년에 그것을 옹호할 때 그는 그것이 “대부분 잘못된” 것이라고 말했다. 그러나 그는 실제로 그 작업과 관여하지 않는다.

미켈 테일러라는 로보티스트가 다른 주제로 훌륭한 트윗을 작성했는데, 그녀는 테슬라의 팬들이 기본적으로 “왜 그냥 해결하지 않느냐?” 라고 말하고 있다고 했습니다. 그리고 그녀의 포인트는, 지금 테슬라가 약속한 것들을 아무도 할 수 없다는 것이며, 딥 러닝이 지금 하려는 일들을 할 수 없다는 것입니다. 사실은, 이러한 것들이 과대광고된 것입니다.

우리는 2022년에도 가정용 로봇을 월드를 이해할 수 있도록 구동할 기술 준비도 되지 않았습니다. 우리는 아직도 무인 자동차에 실패하고 있습니다. 가끔은 훌륭한 챗봇들도 있지만, 때로는 전혀 어리석은 것들도 있습니다. 그리고 제 생각은, 우리는 K2에 있다는 것과 같습니다. 우리는 놀라운 산을 오르고 있다고 생각했는데, 사실은 잘못된 산이었습니다. 우리 중 일부는 그것을 예전부터 지적해 왔고, 르쿤은 이제 그것이 옳지 않은 산이라는 것을 알아차렸습니다.

또한: OpenAI는 어리석은 텍스트 봇을 가지고 있고, 나는 아직도 글쓰기 일을 가지고 있습니다.

테일러의 포인트는, 더 나은 해결책이 없어도 무언가를 비판하는 것이 합법적이라는 것입니다. 때로는 더 나은 해결책이 손에 없을 수도 있습니다. 하지만 여전히 지금 잘못된 점을 이해해야 합니다. 그리고 르쿤은 이 문제들에 대한 해결책을 실제로 가지고 있지 않기 때문에 양면적으로 움직이고 싶어합니다. 그는 이제 이 분야가 엉망이라고 얘기하며 다니고 있습니다. 그 인터뷰가 게시된 거의 같은 날에, 그는 ML이 구려하다고 말하는 강연을 했습니다. 물론, 만약 내가 그렇게 말하면 사람들은 내 타이어를 찌르겠지만, 그는 르쿤이기 때문에 그렇게 말할 수 있습니다.

그는 ML이 구려하다고 말하고, 그런 다음 어떻게 해결할 것인지에 대해 애매한 소리를 내고 있습니다. 그는 이번 여름에 쓴 흥미로운 선언서 (“자율적인 기계 지능을 향한 길”)에 다양한 모듈을 포함한 종류의 설정 가능한 예측기를 포함시킨다는 점이 특징입니다. 핵심은, [레쿤의 새로운 접근법]은 실제로 구현된 이론이 아닙니다. 르쿤은 집에 가서 “마르커스가 걱정하고, 나도 지금 걱정하고 있는 이 모든 문제들은 이렇게 해결되었다” 라고 말할 수 없습니다. 그가 할 수 있는 것은 “우리가 이 방향으로 가는 것 같은 직감이 있다” 라고 말할 수밖에 없습니다.

나는 세상에 대해 더 풍부한 모델이 필요하다고 말하는 것에는 무언가가 있다고 생각합니다. 사실, 그것이 몇 년 동안 내가 말하고 있는 것입니다. 예를 들어, 나는 AI 저널에 투고한 피어 리뷰 논문 중 하나가 컨테이너 안에서 무엇이 일어나는지 이해하는 모델입니다. 이것은 매우 흥미로운 것입니다. 왜냐하면 우리가 세상에서 하는 일의 많은 부분이 컨테이너와 관련이 있기 때문입니다.

그래서 지금 내 책상 위에는 펜과 연필 등을 담는 컨테이너 하나가 있고, 물잔이 들어있는 컨테이너 하나가 더 있습니다. 나는 그들에 대해 알고 있습니다. 예를 들어 무언가를 꺼내면 더 이상 컨테이너 안에 없습니다. 만약 컨테이너를 기울이면 모든 것이 떨어질 것입니다. 우리는 컨테이너에 대해 모든 종류의 물리적인 추론을 할 수 있습니다. 우리는 만약 커피잔에 구멍이 뚫려있는 커피잔이 있고, 거기에 커피를 따르면 커피가 쏟아질 것을 알고 있습니다.

뉴욕 대학교의 동료인 어니 데이비스와 나는 인공지능 분야의 주요 저널 중 하나인 “인공지능”에 그 논문을 썼습니다. 거기에서는 일반적인 상황에서의 물리적 추론에 대한 클래식한 형식 논리 설명을 제시합니다. 그리고 르쿤은 인터뷰에서 물리적 추론과 상식적인 상황에 대해 이야기하고 있습니다. 따라서 어니 데이비스와 나의 제안한 가능한 [대체] 이론의 완벽한 예입니다. 난 정직하게 말해서, 어니 데이비스와 나의 제안한 이론이 맞다고 생각하지 않습니다. 그것은 문제를 구성하는 방식처럼 보입니다. 하지만 이것은 어려운 문제이며, 더 많은 연구를 할 공간이 있습니다. 하지만 핵심은, 르쿤이 실제로 컨테이너에 대한 물리적 추론의 구현된 이론을 가지고 있다고 말할 수 있는 대안이 없다는 것입니다. 그래서 그는 나를 가리키며 말합니다. “너는 대안이 없어.” 그렇다면, 나는 르쿤이 제안한 것에 대한 대안이 없습니다.

또한: 인공지능의 다음 단계: Gary Marcus가 견고한 인공지능을 향한 여정에 대해 얘기합니다.

사람들이 자격증을 비난할 때는 좋은 과학을 얻을 수 없습니다. 프랜시스 크릭은 생물학자가 아니었습니다. 그렇다고 그의 DNA 모델이 틀린 것인가요? 아닙니다. 그는 물리학자였지만, 다른 분야에서 와서 무언가를 말할 수 있습니다. 역사적으로 그런 예가 많이 있습니다.

만약 당신이 다른 사람들을 협박함으로써 대안적 가설을 배제하여 방에서 산소를 빼앗는다면, 잘못된 생각을 할 위험이 있습니다. 이에 대한 역사적인 선례가 있습니다. 이것은 초기 1900년대에 있었는데, 그 당시 분야에서 대부분의 사람들은 멘델이 발견한 유전자가 단백질로 이루어져 있다고 생각했습니다. 그들은 유전자의 분자적 기초를 찾고 있었고, 모두 잘못된 것이었습니다. 이에 대해 자랑스러운 기사를 썼습니다. 그들은 담배 바이러스가 단백질인 줄로 생각했고, 실제로는 그렇지 않았습니다. 이것은 실제로 잘못 수상된 몇 안되는 노벨상 중 하나입니다. 그리고 그 당시에 사람들이 많이 알지 못한 이상한 것인 DNA가 실제로는 산성이라는 것으로 밝혀졌습니다. 따라서, 역사상 사람들이 정답이 무엇인지 명확하게 알고 있으며 틀리는 시기가 있습니다.

장기적으로 보면, 과학은 자기 정정을 합니다. 그러나 우리가 다른 사람들의 작업을 무시하고 인신공격하지 않는 등의 예의와 최선의 실천 방법을 가지고 있는 이유는 그렇게 함으로써 이와 같은 실수를 방지하고 더 효율적일 수 있기 때문입니다. 우리가 무시적이라는 것은 정말로 LeCun을 둘러싼 상황에서 가장 많이 사용되는 단어입니다. 우리가 Judea Pearl의 작업, 내 작업, Schmidhuber의 작업, 전체 신경 기호 체계 커뮤니티와 같은 다른 사람들의 작업을 무시한다면, 우리는 너무 오랫동안 잘못된 모델에 집착할 위험이 있습니다.

ENBLE: 2018년 논문에 관해서는, 그 논문은 훌륭한 글인데, 나에게 가장 중요한 인용구는 “지금까지 딥러닝은 얕으며, 전이에는 한계가 있지만 딥러닝은 놀라운 일을 할 수 있는 능력을 갖고 있습니다.” 입니다. 우리는 모두 이 놀라운 일에 매료되어 있으며, 이는 우리의 사진을 변형시킬 수 있습니다. 솔직히 말하자면, 이런 것들은 어느 정도 작동합니다. 그리고 이제 당신과 LeCun은 이것이 지능이 아니며, 지능의 시작조차 아니라고 말하고 있습니다. 그러나 이 기계들이 하는 이런 놀라운 일들을 제시하는 것에서 이제 보다 많은 이익을 얻는 산업 체제와 싸우고 있다는 것은 분명합니다.

GM: 제가 말하고 싶은 첫 번째 것은, 그것이 지능인지 아닌지에 대해 논쟁하고 싶지 않습니다. 그것은 당신이 용어를 어떻게 정의하느냐에 달려있습니다. 따라서, 지능의 형태로 딥러닝을 일종의 지능이라고 부르는 것은 불합리하지 않다고 말할 수 있습니다. 당신이 원한다면 계산기나 체스 컴퓨터를 지능이라고 부를 수도 있습니다. 저는 실제로는 신경 쓰지 않습니다. 그러나 우리가 일반 지능이나 적응적 지능이라고 부를 수 있는 지능의 형태에 대해서는 신경 씁니다. 나는 기계들이 문제를 해결할 수 있도록 할 수 있는 방법에 대해 궁금해합니다. 그렇게 하려면, 여기에 내 문제가 있어, 이걸 해결해봐라 라고 말할 수 있는 기계들이 필요합니다. 그렇게 하려면, 대학생 인턴에게 몇 가지 일에 대해 약간의 지시를 해주고 그들이 일을 하고 제법의 일을 해내도록 할 수 있는 것처럼요. 우리는 그런 기계들을 가지고 있지 않습니다. 우리는 세상을 충분히 이해하거나 이해하는 데 충분한 수준의 기계를 가지고 있지 않습니다. 그래서 새로운 것에 대처할 수 있는 능력을 가지고 있지 않습니다. 당신이 언급하는 많은 예시들은 데이터가 크게 변하지 않는 대용량 데이터에 기반한 것입니다. 따라서 “Alexa”라는 단어를 많은 사람들이 수십억 번 말하도록 할 수 있으며, 그런 다음 이 알고리즘들을 사용하여 “Alexa”라는 단어를 인식할 수 있습니다.

또한: 더 위험한 시대를 위한, 현재 인공지능에 대한 맛있는 비판

반면에, AI와 의학에 관련된 일을 하는 제가 가장 좋아하는 사람 중 한 명인 Eric Topol은 2일 전에 한 트윗을 올려서 의학에서 아직도 AI가 정말로 유용한 일을 하기 어렵다는 심각한 문제가 있다는 것을 보여주었습니다. 이는 생물학이 끊임없이 변화하기 때문입니다.

또 다른 사례를 들면, 많은 언어 모델들은 여전히 트럼프가 대통령인 것으로 생각하는데, 이는 “대통령 트럼프”라는 말이 많은 데이터로 인해 그렇게 생각하기 때문입니다. 그러나 그들은 누군가 다른 사람이 취임하면 그 사람이 더 이상 대통령이 아니라는 기본적인 시간적 추론을 수행하지 않습니다. 그들은 그것을 하지 않습니다.

만약 당신이 통계적 증거만 축적하고 사물의 역학을 이해하지 못한다면, 문제가 생깁니다. 또한, Walid Saba [AI 및 ML 과학자]는 이 아름다운 예시를 제시했습니다. 어떤 것의 조언을 받기를 원합니까? 그는 GPT-3에게 물었고, 젊은 아이와 뛰어난 탁자 중 어느 쪽의 조언을 받을 것인지 물었습니다. 그리고 그것은 “뛰어난”이라는 단어를 알고 있으므로, 그는 “뛰어난 탁자”의 조언을 받을 것이라고 말합니다. 거기에는 심도가 없으며, 실제로는 세상을 이해하지 않고 있는 것입니다.

마케팅의 특별함과 두려움은 딥 러닝이 개념적인 깊이를 함축한다는 점인데, 실제로는 그런 깊이가 부족하다는 것입니다. 딥 러닝은 신경망 내의 일정한 수의 레이어(예: 세 개 이상)를 의미하며, 현재는 150개 이상일 수도 있지만, 딥 러닝에서 ‘깊음’은 레이어의 수를 의미할 뿐 개념적인 깊이를 의미하지 않습니다. 이는 이러한 시스템 중 하나가 사람, 테이블 또는 어떤 것인지 알지 못한다는 의미도 아닙니다.

ENBLE: 그러므로 당신에게 대항하는 힘은 르쿤과의 연합보다 더 강한 것 같습니다. 당신과 르쿤은 엔지니어링이라고 표현한 대로, 어떤 것이 일부만 동작하는 것을 달성하게 될 것입니다. 세상은 어떤 의미에서는 지능적이지만 실제로는 그렇지 않다는 것입니다.

GM: 흥미롭군요. 다른 세계에서는 르쿤과 나는 동맹이 될 것입니다. 우리는 동의하는 것이 많습니다. 실제로 최근에는 “패러다임 전환”이란 제목의 글에서 그것을 개요로 적었습니다. Slate Star Codex의 Scott Alexander에게 대답하는 글을 썼습니다. “AI는 정말로 패러다임 전환이 필요한가?”라는 제목의 Substack에 써놓은 글에 그것에 대한 구체적인 섹션이 있습니다. 거기에서 르쿤과 나의 동의점들을 개요로 제시했습니다.

분야 전체의 큰 그림을 보면, 우리는 대부분의 관점에서 조율되어 있습니다. 중요한 몇 가지 점을 돌아보겠습니다. 르쿤과 나의 첫 번째 합의점은 단순한 확장만으로는 충분하지 않다는 것입니다. 지금은 우리가 그렇게 생각하는 유일한 사람들은 아니지만, 분야 내에서 실제로는 진영이 나뉘어져 있습니다. 젊은 세대 중 많은 사람들은 확장의 증명에 감명을 받았습니다. [DeepMind 연구원] Nando de Freitas는 트위터에서 게임이 끝났다고 말했습니다. AGI는 확장만으로 충분하다는 것입니다. 이에 대해 나는 “Alt Intelligence”라는 답글을 썼습니다. 이는 내가 지금까지 유지하고 있는 Substack에서 처음으로 쓴 글이었습니다. 최근에는 확장 맥시멀리즘(Scaling Maximalism)이라고 부르기도 하는데, 확장만으로 충분하다는 것이 분야 내에서 가장 큰 질문 중 하나입니다. 르쿤과 나는 절대적으로 확장 맥시멀리즘은 우리가 실제로 관심을 가지는 깊은 적응형 지능에 도달하기에 충분하지 않다는 것에 완전히 동의합니다.

비슷하게, 우리는 강화 학습도 부적절하다고 생각합니다. DeepMind가 많은 시간을 투자한 것뿐만 아니라 다른 사람들도 그렇습니다. 그는 “그것은 케이크 위의 체리에 불과하다”라는 비유를 좋아합니다. 나는 그에게 동의합니다. 세계를 실제로 이해하기 전에는 좋은 강화 학습을 할 수 없다고 생각합니다.

또한: AI 토론 2: 수천 명의 AI 학자들의 밤

우리는 두 가지 모두 대규모 언어 모델이 정말 멋지지만 실제로는 문제가 있다고 동의합니다. 이 부분에서는 나는 실제로 처음으로 이것을 지적했고, 그 때 르쿤은 정말 악랄하게 대응했습니다. 하지만 우리는 같은 곳에 도달했습니다. 우리는 눈부신 것은 아니지만 그런 시스템이 우리를 일반 인공지능으로 이끌어주지 못한다고 생각합니다. 이는 확장의 관점과 관련이 있습니다.

이것들은 가장 중요한 문제 중 일부입니다. 어떤 의미에서는 우리의 견해는 소수의 견해이며, 그러한 점에서 우리는 모두 옳다고 믿습니다. 시간이 지남에 따라 알게 될 것입니다. 이들은 모두 경험적인 질문입니다. 더 많은 연구를 해야합니다. 우리는 과학적인 대답을 알지 못합니다. 하지만 분명히 르쿤과 나는 이러한 점들을 깊은 직관으로 공유합니다.

우리가 깊게 동의하는 다른 한 가지는 모델과 상식이 필요하다는 것입니다. 실제로 두 가지입니다. 세계가 어떻게 작동하는지에 대한 모델이 필요하고, 이와 관련하여 우리는 아마도 그것이 모호하다고 생각하지만, 상식과 같은 것이 필요하다고 생각하며 그것이 정말 중요합니다.

세계 과학 페스티벌에서 우리가 한 패널을 공유한다고 상상해 볼 수 있습니다. 그리고 우리가 동의하는 일곱 가지 사항에 대해 이야기하기 시작하고, 여기서 세계 모델이 이렇게 되어야 한다거나 저렇게 되어야 한다는 이유를 설명할 것입니다. 그리고 우리가 한때 있었던 그 자리로 돌아갈 수 있다면 흥미로운 토론이 될 것입니다.

ENBLE: 그리고 차이점은 무엇인가요?

GM: 우리는 사용하고자 하는 상징적인 지식이 많을 수 있다는 주장을 할 것입니다. 분포를 넘어 일반화하는 훨씬 좋은 방법을 아직까지도 상징적인 도구들이 제공한다고 주장할 것입니다. 지금은 분포의 변화가 중요한 문제라는 것을 우리 모두 알고 있습니다. 나는 2018년에 그것을 제기했고, 여전히 본질적인 문제라고 생각합니다. 보지 못한 데이터 이상을 일반화하는 방법에 대해서입니다. 그리고 나는 상징적인 모델들이 거기에 어떤 이점을 가질 수 있을지도 모른다고 생각합니다. 우리는 그런 모델들을 어떻게 배울지는 모릅니다. 르쿤이 그런 모델들의 학습 쪽에서 어떤 진전을 이룰 수 있는 최선의 희망을 가지고 있다고 생각합니다. 그가 올바른 아키텍처를 가지고 있는지는 확신하지 않지만, 적어도 그에게는 그러한 모델들의 학습 측면에 올바른 기획이 있다고 생각합니다.

또한: 역사적인 AI 논쟁에서 중요한 세부 사항은 실제로 중요하다

그리고 우리가 실질적으로 의견이 다른 다른 곳은 이것이 2017 논쟁이었는데, 이것은 타고남에 관한 것이었습니다. 저는 우리가 더 많은 타고남이 필요하다고 생각합니다. 그리고 저는 큰 역설은 LeCun의 AI에 대한 고유한 기여가 합성곱의 타고남 선결조건, 어떤 사람들은 이를 변환 불변성이라고 부르기도 한다는 것입니다. 그리고 이것은 사실상 객체가 다른 위치에 나타나더라도 동일하게 보일 것이라는 것을 배치하는 방법입니다. 저는 우리가 이와 같은 타고난 선결조건처럼 더 많은 선결조건이 필요하다고 생각합니다. 이와 같은 타고난 구조가 더 필요합니다. 그리고 LeCun은 정말로 그것을 원하지 않습니다. 그는 우연히도 기계 학습이라고 불리는 분야에 있습니다. 그리고 기계 학습 분야의 사람들은 모든 것을 학습해야 한다고 원합니다. 모두 그런 것은 아니지만 많은 사람들이 그렇습니다.

내 견해는 생물학을 보면 우리는 단지 타고난 구조와 학습된 교정 기계의 거대한 혼합물일 뿐이라고 생각합니다. 예를 들어, 우리의 심장의 구조는 명백히 타고난 것입니다. 일부 교정이 있습니다. 운동할 때 심장 근육이 성장할 수 있습니다. 그런데 타고난 구조가 많이 있습니다. 나는 기계 학습 분야에서 타고난 구조에 반하는 편향이 있다고 생각합니다. 이것은 분야에 실제로 손상을 입히고 발전을 막은 것입니다. 그래서 그것은 우리가 다른 곳에서 다릅니다.

내가 생각하는 대로 사람들이해야 할 것을한다. 나는 내 상대방의 의견을 이해한다. 내가 그것들을 특성화하고 합의와 불일치 점에 대해 이야기하고 그것들이 무엇인지 특성화 할 수 있다고 생각합니다. 그러나 LeCun이 해오려고 한 것은 내게서 단지 무시하는 것이라고 생각합니다. 나는 그것이 과학을 하는 올바른 방법이 아니라고 생각하지 않습니다.

ENBLE: 종료 질문: 당신과 Yann LeCun보다 큰 중요한 것은 무엇이라고 생각하십니까?

GM: 먼저, 우리 중 둘 다 답을 가지고 있지 않다고 생각합니다. 그리고 그 이유로, 그가 실제로 나와 논쟁을하길 바라는 이유는 분야가 멈춰있고 우리가 멈춘 것을 풀기 위해서는 우리보다 약간 다른 방식으로 사물을 바라보는 학생이나 어린이가 필요하다고 생각하기 때문입니다. 레쿤과 나 같은 사람들이 강력한 의견을 갖고 있다는 것은 그들이 어떻게 고쳐야 할지를 사람들에게 보여줄 수 있기 때문에 도움이 될 수 있습니다. 그러므로, 학습 기반 시스템을 원하는 이유와 하드웨어를 원하지 않는 이유는 분명히 있다. 그리고 우리가 확실히 알려진 방법은 없다. 또한, 더 많은 패러다임 변화가 올 것이라고 생각합니다. 사실, “패러다임 변화”라는 내 글에서는 LeCun이 그렇게 말한 것으로 인용합니다. 이 분야에서는 더 이상 패러다임 변화가 필요하지 않다고 생각하는 사람들이 있습니다. 그러나 LeCun과 나는 우리가 지금 보고있는 모델의 공간 밖을 보아야한다고 생각합니다. 다른 사람들이 그것을하기 위해 최선의 방법은 우리가 어디에 갇혔는지를 분명히 표현하는 것입니다.

---

• artificial intelligence
• Innovation