甲小姐와 케빈 켈리의 대화: AI에 대해, 나는 책에 쓴 적이 없는 판단

저자：甲小姐 八度 편집：田思奇

Slower than it looks（AI는 보이는 것보다 느리다），LLMs tend average（대형 언어 모델은 인간의 평균 지능 수준에 가까워진다），Not replacing humans（AI는 인간을 대체하지 않는다），New, not substitutions（AI는 새로운 것을 창조하는 것이지 대체품이 아니다），Cloud first, then AI（먼저 클라우드, 그 다음 AI），Must change your org（AI는 조직을 재편성해야 한다），Just beginning（一切才刚刚开始）……이 일곱 가지 예측은 완전하지 않다. 우리가 다른 곳에서 언급되지 않은 추측을 해줄 수 있나요? 나는 KK에게 물었다.

안경을 벗은 KK는 최소 30초 동안 멈췄고, 그 후 몇 번의 긴 질문으로 나를 반문하다가 갑자기 나를 중단시켰다.

"그럼 내 예측이 나올 차례다. 내 예측은, 10년 후에는 훈련 데이터가 더 이상 중요하지 않을 것이다 (In 10 years now, training data won't be important) ." KK가 말했다.

케빈 켈리(Kevin Kelly)는 기술 애호가들에 의해 "KK"로 불리며, 턱수염과 희끗희끗한 머리카락으로 시대의 상징이 되었다. 그는 《실패의 교훈》, 《기술이 원하는 것》, 《5000일 후의 세계》 등의 책을 저술했으며, "실리콘밸리의 정신적 아버지"로 평가받고 있다. 그는 30년 전 클라우드 컴퓨팅, 가상 현실, 사물인터넷 등의 트렌드를 예견했다. 2024년 6월 16일, 그는 쑤저우에 와서 쑤저우 과학기술 상업학교와 상하이 교통대학교 상하이 고급 금융学院이 공동으로 개최한 기술 대강연에 참여했다. 위의 대화는 그의 강의 후 회의실에서 진행된 독점 인터뷰에서 발생했으며, 원래 20분의 인터뷰가 거의 1시간 가까이 이어졌다.

이 글에서甲小姐는 케빈 켈리와 심도 있는 대화를 나누며, 최근 상황에서 AI 혁신과 인간의 본질에 대해 이야기했다. 세부적인 판단의 차이를 제외하고, KK와 "甲子光年"은 비슷한 관점을 가지고 있다: AI가 세상을 변화시키는 "진행 바"는 이제 막 시작되었다.

1. 최근 상황："그것이 내 모든 시간을 차지했다"

너는 1000시간이 필요하다. 아마 나는 800시간을 훈련했지만, 1000시간에는 미치지 않는다.

甲小姐： 뉴스는 오락가락하고, 전 세계의 AI에 대한 태도가 많이 변했다. 특히 사람들은 AI 2.0, AGI 또는 대형 모델에 대한 인식이 많이 바뀌었다. 최근에 너는 최전선의 AI 발전을 추적하는 데 얼마나 많은 시간을 쏟았나?

케빈 켈리： 그것이 내 모든 시간을 차지했다. 내가 하는 일은 AI 관련 기사를 지속적으로 읽는 것이다.

甲小姐： 너는 누구의 기사를 가장 좋아하나?

케빈 켈리： 네가 말한 것처럼, 매일 새로운 기사가 나오고, 아마 매시간 새로운 기사가 나올 것이다. 언어 모델에 대한 새로운 발견들이 있다.

지난주에 Anthropic에서 나온 논문이 있었는데, 특징의 가중치와 그것들을 조작하는 방법에 관한 것이며, 이는 AI 블랙박스 개념과 관련이 있다. 그들은 우리가 실제로 뒤에 있는 메커니즘을 조금 볼 수 있다고 말했다. 이것은 매우 흥미롭다.

甲小姐： 너는 평소에 Midjourney, Pika, Runway 등의 AI 애플리케이션을 사용하나?

케빈 켈리： 나는 매일 AI로 그림을 그린다. 1년 동안 계속해왔다.

甲小姐： 너는 이제 AI 산업의 원주율이 되었나?

케빈 켈리： 아직 반쯤이다. 너는 1000시간이 필요하다. 아마 나는 800시간을 훈련했지만, 1000시간에는 미치지 않는다.

甲小姐： 너는 기술 분야의 철학적 사색가이다. 최근 AI의 물결 속에서 너의 기술 철학이 변화했거나 발전했나?

케빈 켈리： 좋은 질문이다. 내 기술 철학 관점은 변하지 않았다. 새로운 현상이 나타나면, 나는 그것이 내 철학을 계속 증명하고 강화하고 있다고 생각한다.

지금까지 나는 내 기술 관점을 변화시킬 수 있는 사건을 보지 못했다. 그래서 내 기술 이론은 진화하는 것과 같고, 내가 AI에서 보는 모든 현상은 내 기본 기술 철학 관점을 변화시키지 않았다.

2. AI 관점："내가 진정으로 걱정하는 것: 인공지능의 무기화"

OpenAI가 내린 최고의 결정과 최악의 결정은 무엇인가?

甲小姐： 너의 공식 웹사이트 페이지 상단에 작은 글씨가 있다: OVER THE LONG TERM, THE FUTURE IS DECIDED BY OPTIMISTS（장기적으로 미래는 낙관주의자에 의해 결정된다）. 최근 AI의 일련의 발전과 빠른 반복의 물결, 그리고 너가 방금 언급한 100년 인류 정체성 위기가 너를 걱정하게 만들까?

케빈 켈리： 전반적으로 나는 특별히 걱정하지 않는다. 어떤 일들은 내가 정말 신경 쓰는 것이지만, 우리는 해결할 것이라고 믿는다. 하지만 아직 해결 방법을 모르는 문제들도 있다. 예를 들어 기후 변화는 우리가 어떻게 해야 하는지 알고 있지만, AI 분야에는 우리가 해결 방법을 모르는 문제들이 있다. 이러한 문제들은 미래에 우리에게 문제를 일으킬 수 있다. 예를 들어 AI의 무기화: 우리는 로봇 병사가 등장하는 것을 허용해야 할까? AI가 살인을 할 수 있는 능력을 가질 수 있을까? 이것은 우리가 모르는 것이고, 정말로 결정하기 어렵다. 그래서 이것이 내가 진정으로 걱정하는 것이다: 인공지능의 무기화.

물론, 나는 AI가 오픈 소스인지 폐쇄 소스인지, 공개적인지 아니면 회사가 소유한 것인지에 대해서도 매우 걱정한다. 내 생각은 그것이 공개되어야 한다는 것이다.

甲小姐： 너는 AI가 오픈 소스여야 한다고 생각하나?

케빈 켈리： 예, 공개 소스 코드를 대중에게 개방해야 한다. 이것은 내가 매우 걱정하는 또 다른 문제이다.

甲小姐： 너는 여전히 낙관주의자이다.

케빈 켈리： 나는 매우 낙관적이다. 나는 우리가 결국 이러한 AI 관련 문제를 해결할 것이라고 믿지만, 지금은 우리가 어떻게 해야 할지 모른다. 즉, 결과는 확정적이지만, 경로는 아직 명확하지 않다. 그래서 나는 매우 낙관적이다. 물론, 어떤 사람들이 걱정하는 문제들에 대해서는 나는 걱정하지 않는다. 예를 들어 나는 실업에 대해 걱정하지 않는다. 또한 나는 인공지능이 우리에게 위협이 될 것이라고 걱정하지 않는다.

甲小姐： 너는 전 세계에 팬이 많고, 많은 훌륭한 과학자 친구들을 알고 있을 것이다. 그들은 너의 AI에 대한 관점에 동의하나, 아니면 반대하는 사람이 더 많은가?

케빈 켈리： 이 주제는 정말 흥미롭다. 지금 거대한 분열이 있다. 슈퍼 AI에 대한 두 개의 진영이 있다. 일부 매우 뛰어난 과학자들은 걱정하고, 다른 뛰어난 과학자들은 걱정하지 않는다. 이것은 매우 흥미롭다. 나는 AI에 대해 걱정하지 않는 진영에 있다.

甲小姐： 지금까지 OpenAI가 내린 최고의 결정과 최악의 결정은 무엇인가?

케빈 켈리： 최악의 결정은 OpenAI가 대형 모델을 공개하지 않은 것이다. 이것은 매우 나쁜 결정이다. 또 다른 최악의 결정은 (과거에) 창립자 Sam(샘 알트먼)을 해고한 것이다.

최고의 결정은 OpenAI가 항상 빠른 발전과 빠른 반복을 유지하며, 끊임없이 혁신하고, 점점 더 빠르게 발전하여 Sam을 다시 고용할 수 있게 되었다는 것이다. 그리고 그들은 매우 확고하게, 발전하는 과정에서 너무 신중하지 말고, 진정으로 빠르게 성장하려고 시도해야 한다고 강조했다.

3. 경계："AI는 산을 오르는 데 능숙하지만, 산을 만드는 데는 능숙하지 않다"

너는 Midjourney나 Dall-E에서 유명한 우주비행사가 말을 타고 있는 그림을 그릴 수 있지만, 말을 우주비행사가 타게 할 수는 없다. 왜냐하면 그것은 학습 범위를 벗어나기 때문이다.

甲小姐： 너는 두 가지 유형의 창의성, 유형 1과 유형 2를 언급했으며, AI가 산을 오르는 데 능숙하고, 산을 만드는 데는 능숙하지 않다는 재미있는 그림을 그렸다. 이 두 가지의 차이는 무엇인가?

케빈 켈리： 대형 언어 모델의 창의성은 사실 하나의 창의성만 존재한다. 즉, 이미 알려진 범위 내에서 작동하는 것이다.** 그들은 내가 아는 공간 내에서 모든 것을 채우고 탐색하고 있다. 그들은 전혀 새로운 분야를 발명하지 않는다.**

돌파구는 기본적으로 새로운 분야를 창조하는 것이지, 현재의 제한 내에서 해결책을 찾는 것이 아니다(So breakthroughs basically are making up new territories rather than exploiting of finding solutions within an existing term).

그들이 지금 하는 주요 작업은 우리가 아는 범위 내에서 답을 찾는 것이다. 너는 Midjourney나 Dall-E에서 유명한 우주비행사가 말을 타고 있는 그림을 그릴 수 있지만, 말을 우주비행사가 타게 할 수는 없다. 왜냐하면 그것은 학습 범위를 벗어나기 때문이다.

甲小姐： 너는 Scaling law(규모 법칙)의 지지자인가?

케빈 켈리： 확실히 몇 가지가 있다. "甲子光年"의 사용자들이 이해하기 쉽게 설명하자면, Scaling law는 모델이 얼마나 커지는지, 손실 요소는 무엇인지, 그리고 최적 성능과 얼마나 멀리 있는지를 설명할 수 있는 수학적 비례 관계가 존재한다고 말한다.

우리는 이것이 무한히 확장될 수 있는지 모르겠다. 나는 영원히 확장할 수 있는가? 곡선이 결국 평평해질 것인가? 지금까지의 증거는 그것이 직선으로 수렴할 것이라고 보여준다. 이것은 인터넷과 다르다.

물론 증거는 Scaling law 자체에서 나온 것이 아니다. Scaling law 자체는 가설이다.

甲小姐： 최근 AI 산업에서 매우 유행하는 관점이 있다------모든 것은 데이터 세트와 관련이 있으며, 시간이 지나면 AI의 성능은 알고리즘이나 다른 방법과는 큰 관계가 없고, 오직 데이터 세트만이 중요하다.

케빈 켈리： 한 논문에서는 데이터의 질과 영향이 알고리즘보다 더 크다고 말했다. 나는 이것이 매우 가능성이 높다고 믿는다.

나는 예측한다 우리는 한 AI 회사가 AI가 훈련 데이터에 기반한다고 홍보할 것이라고 생각한다. 그래서 누군가는 말할 것이다, 우리는 어떤 알고리즘 훈련을 받지 않았고, 우리는 단지 최고의 데이터로 훈련했다. 우리는 고품질의 책과 다른 고품질 자료로 훈련했다. 우리는 Reddit로 훈련했다.

이것은 교육과 같다. 만약 너에게 아이가 있다면, 너는 그들을 어떻게 교육할 것인가? 그들에게 무엇을 읽게 할 것인가? 너는 그들이 트위터를 보게 할 것인가, 아니면 고전 문학을 읽게 할 것인가? 누군가는 우리의 인공지능이 고전만 읽는다고 말한다. 그들은 최고의 품질의 책, 최고의 품질의 과학 저널을 읽는다. 그들은 Reddit, Twitter 또는 웨이보를 읽지 않는다. 그들은 좋은 것을 읽고 있다. 그들은 최고의 훈련을 받았다. 어떤 사람들은 이러한 기획된 훈련 데이터를 판매 포인트로 사용할 것이다. 어제 Getty Images는 Getty 라이브러리에서만 훈련된 AI 이미지 생성기를 발표한다고 밝혔다.

4. 추측："10년 후, 훈련 데이터는 더 이상 중요하지 않을 것이다 (In 10 years now, training data won't be important)"

10년 후 우리는 수백만 개의 데이터 없이도 추론 능력을 가질 수 있다.

甲小姐： 너의 유명세는 상당 부분 너의 예언가로서의 정체성에서 비롯되지만, 너는 방금 화면에 큰 글씨로 No predictions (예측 없음)을 밝혔다. 하지만 너는 일곱 가지 판단을 언급했다: Slower than it looks（AI는 보이는 것보다 느리다） LLMs tend average（대형 언어 모델은 인간의 평균 지능 수준에 가까워진다） Not replacing humans（AI는 인간을 대체하지 않는다） New, not substitutions（AI는 새로운 것을 창조하는 것이지 대체품이 아니다） Cloud first, then AI（먼저 클라우드, 그 다음 AI） Must change your org（AI는 조직을 재편성해야 한다） Just beginning（一切才刚刚开始）

판단 은 완전하지 않다 너는 우리가 다른 곳에서 언급되지 않은 추측을 해줄 수 있나?

케빈 켈리： (오랫동안 멈춤) 일반적으로, 내가 생각이 있다면, 나는 분명히 다른 사람들에게 말할 것이다. 우리는 대화를 계속하고, 나는 하나를 생각해내기 위해 노력할 것이다.

(계속해서 멈춤) AI에 관해서, 나는 중국의 AI에 대해 잘 알지 못한다. 너는 분명히 논문을 읽고 있으며, 너는 현재 중국에서 AI에 어떤 일이 일어나고 있다고 생각하나?

甲小姐： 나는 중국과 미국의 유사성이 사람들이 생각하는 것보다 훨씬 크다고 생각한다.

케빈 켈리： 유사성? 어떻게 말하는가?

甲小姐： 예를 들어 인재. 중국에는 많은 젊은 인재들이 있다. 그들은 학생이거나 스타트업에 있다. 그들은 내가 미국이나 다른 나라에서 만난 젊은 인재들과 매우 유사하다. AI가 이렇게 날카롭고, 이렇게 새롭기 때문이다.

내 전공은 수학이다. AI와 수학을 비교할 때, 역사적 길이는 다르다. 내 주변의 많은 친구들은 인공지능이 너무 복잡해서 이해하기 어렵다고 생각한다. 하지만 AI의 역사는 반세기 이상에 불과하다. 만약 너가 개요, 역사, 학문 분류를 이해하고 싶다면, 두세 권의 책을 읽는 것으로 AI에 대한 기초 개요를 세울 수 있다. 학문 자체에서 모두 비슷한 출발점이 있다. 중국에는 머스크나 알트먼 같은 유명 인사가 없을지도 모르지만, 젊은 인재들을 둘러보면 전체적인 기초가 매우 유사하다.

두 번째 차원은 데이터이다. 아마도 중국은 몇 가지 장점이 있을 수 있다.

케빈 켈리： 누가 데이터에 접근할 권한이 있는가? 젊은 스타트업이 그 데이터에 접근할 수 있는가?

甲小姐： 우리는 이제 막 시작했다고 생각한다. 정부는 사람들이 원하는 데이터를 좋은 방식으로 얻을 수 있도록 기본 인프라를 구축하려고 하고 있다.

케빈 켈리： 그 좋은 방식은 무엇인가?

甲小姐： 데이터 시장. 너는 알다시피, 데이터는 기본 정책에 기록되어 요소가 되었고, 자본, 노동력, 기술, 토지와 같은 생산 요소로 불린다. 중국에서는 "생산 요소"라고 불린다.

케빈 켈리： 너희 기업가들은 데이터에 접근하는 데 아무런 어려움이 없나?

甲小姐： 어려움이 없는 것은 아니다. 하지만 그들은 다른 나라에서처럼, 아마 더 쉽게 접근할 수 있으며, 많은 도전에 직면해야 한다. 하지만 내가 생각하기에 가장 큰 도전은 정책이나 권한이 아니라 데이터 세트이다. 다른 언어의 데이터 세트는 다르다.

케빈 켈리： 그럼 내 예측이 나왔다. 내 예측은, 10년 후에는 데이터가 더 이상 중요하지 않을 것이다.

현재 모든 대형 언어 모델은 대량의 데이터 방법을 확장해야 하지만, 다른 유형의 인지와 지능은 그들이 가지지 못한 것이다. 마치 인간 유아가 12개의 예를 본 후 고양이와 개를 구별할 수 있는 것처럼, 유아는 1200만 개의 데이터 없이도 알 수 있다.

나는 10 년 후 우리는 수백만 개의 데이터 없이도 추론 능력을 가질 수 있다고 생각한다. 이것은 스타트업에게는 큰 장점이 될 것이다. 왜냐하면 그들은 이러한 모든 데이터를 소유할 필요가 없기 때문이다. 이것이 나의 추측이다.

5. 본질："의식이 인간을 다르게 만들지만, 우리는 AI에게도 의식을 부여할 것이다"

우리는 AI와 함께 인간으로서의 의미를 발견할 것이다.

甲小姐： 너는 인간과 인공지능의 본질에 대한 통찰력을 줄 수 있나?

케빈 켈리： 문제는 우리가 인간의 본질이 무엇인지 모른다는 것이다. 답을 찾는 방법은 인공지능을 만드는 것이다. 우리는 성공할 것이다.

우리는 창의력이 우리를 다르게 만드는 이유라는 것을 깨달았다------하지만 이제 우리는 생각을 바꾸었다. 왜냐하면 인공지능도 창의력을 가지고 있기 때문이다. 그리고 우리는 이제 "좋아, 이제 우리는 의식이 우리를 다르게 만드는 이유라고 생각한다. 하지만 우리는** 의식을 AI에게 부여할 것이다 **……"

甲小姐： 이 "부여"의 과정은 어디까지 계속될 것인가?

케빈 켈리： 기술과 AI의 추진력에 의해 우리는 끊임없이 자신을 재정의할 것이다. 더 중요한 질문은 우리가 누구인가가 아니라, 우리가 누구가 되고 싶은가이다. 우리는 인간이 무엇이 되기를 원하는가? 이것은 더 강력한 질문이다.

왜냐하면 우리는 약간의 선택권을 가질 수 있기 때문이다. 이것은 흥미롭고, 나에게는 AI의 궁극적인 매력 은 우리가 누구인지에 대한 안개를 밝혀주고 우리가 어떤 사람이 되어야 하는지를 고무시킨다.

甲小姐： 가속화된 계산이 과학의 무인 구역에 접어들고 있다. 이 길의 한계는 무엇인가?

케빈 켈리： 우리는 지능에 대한 이론이 없듯이, 인간에 대한 이론도 없다.

우리는 AI가 가고 있는 곳을 예측할 수 없다. 왜냐하면 우리는 AI에 대한 이론이 없기 때문이다. 우리는 또한 이론이 없다. "이것을 하면 예측이 가능하다; 이것을 하면 이렇게 될 것이다; 모든 계산을 포함하면 이것을 얻을 것이다……" 우리는 현재 그러한 이론이 없다. 이것은 매우 이례적이다.

물리학에서는 이론이 있다------"충분히 큰 충돌기를 만들면 그 입자를 찾을 것이다." 우리는 지능 분야에서 그런 이론이 없다. 하지만 흥미로운 것은, 우리는 AI와 함께 인간으로서의 의미를 발견할 것이다.

甲小姐： 나는 너의 대답이 마음에 든다.

케빈 켈리： 나는 너의 질문이 마음에 든다.

오른쪽: 케빈 켈리, 왼쪽:甲子光年 창립자&CEO 장이甲（사진 출처: "甲子光年" 촬영）