Ilya가 OpenAI를 떠난 내부 폭로: 울트라맨에 의해 팀의 컴퓨팅 파워가 축소되고, 제품 개발과 수익 창출이 우선시되며, 퇴사 후 불만을 토로하면 주식을 잃게 된다

저자: 양자위

연속으로 13개의 트윗을 발송했습니다!

OpenAI 슈퍼 정렬 책임자 Jan Leike는, 방금 Ilya와 함께 회사를 떠난 그 사람으로, 퇴사의 진짜 이유와 더 많은 내부 정보를 공개했습니다.

첫째, 계산력이 부족하다는 것입니다. 슈퍼 정렬 팀에 약속된 20%가 부족해 팀이 역행하고 있지만 점점 더 어려워지고 있습니다.

둘째, 안전을 중시하지 않는다는 것입니다. AGI의 안전 관리 문제에 대한 우선순위가 "눈에 띄는 제품"을 출시하는 것보다 낮습니다.

이어 다른 사람들이 더 많은 소문을 파헤쳤습니다.

예를 들어, OpenAI 퇴직자는 모두 퇴사 후 OpenAI에 대한 나쁜 말을 하지 않겠다는 계약서에 서명해야 하며, 서명하지 않으면 회사 주식을 자동으로 포기한 것으로 간주됩니다.

하지만 여전히 서명을 거부하는 강경한 인물이 나와서 폭로를 하고 있습니다(웃음). 핵심 리더십이 안전 문제의 우선순위에 대한 이견이 오래전부터 있었다고 합니다.

작년 궁중 싸움 이후, 두 진영의 관념 충돌이 임계점에 도달하여, 그제야 꽤 품위 있게 무너진 것처럼 보입니다.

따라서, 비록 울트라맨이 공동 창립자를 보내 슈퍼 정렬 팀을 인수했지만, 여전히 외부에서는 좋지 않게 보고 있습니다.

가장 최전선에 있는 트위터 사용자들은 Jan이 이 놀라운 이야기를 말할 용기를 내준 것에 감사하며 감탄했습니다:

"와, OpenAI가 정말로 안전성을 중시하지 않는 것 같네요!"

하지만 돌아보면, 현재 OpenAI를 이끌고 있는 울트라맨은 일단 자리를 지키고 있습니다.

그는 Jan이 OpenAI의 슈퍼 정렬과 안전에 기여한 것에 감사하며, Jan이 떠난 것에 대해 사실 매우 슬프고 아쉽다고 밝혔습니다.

물론, 핵심은 이 한 문장입니다:

기다려, 며칠 후에 나는 이보다 더 긴 트윗을 올릴 거야.

약속된 20% 계산력이 사실상 허황된 이야기

작년 OpenAI의 궁중 싸움 이후, 영혼의 인물인 전 수석 과학자 Ilya는 거의 공개적으로 모습을 드러내거나 목소리를 내지 않았습니다.

그가 공개적으로 퇴사한다고 선언하기 전부터 이미 여러 소문이 돌고 있었습니다. 많은 사람들은 Ilya가 인류를 멸망시킬 수 있는 AI 시스템 같은 끔찍한 것을 보았다고 생각합니다.

△ 사용자: "나는 매일 아침 일어나서 Ilya가 뭘 봤는지 생각합니다."

이번에 Jan이 솔직하게 말했는데, 핵심 원인은 기술파와 시장파가 안전 문제에 대한 우선순위에 대해 서로 다른 견해를 가지고 있다는 것입니다.

이견이 매우 심각하며, 현재 결과는…… 모두가 보고 있습니다.

Vox의 보도에 따르면, OpenAI에 정통한 소식통은 안전을 더 중시하는 직원들이 울트라맨에 대한 신뢰를 잃었다고 전했습니다. "이것은 신뢰가 조금씩 무너지는 과정입니다."

하지만 보시다시피, 공개 플랫폼과 자리에서 퇴직한 직원들이 이 문제에 대해 공개적으로 이야기하고 싶어하는 사람은 많지 않습니다.

일부 이유는 OpenAI가 항상 직원들에게 비방 금지 조항이 포함된 퇴직 계약서에 서명하도록 요구해왔기 때문입니다. 서명을 거부하면 이전에 받은 OpenAI의 옵션을 포기한 것으로 간주됩니다. 이는 말하는 직원이 큰 금액을 잃을 수 있음을 의미합니다.

하지만 도미노처럼 하나씩 쓰러져 가고 있습니다------

Ilya의 퇴사는 OpenAI의 최근 퇴직 물결을 가속화했습니다.

슈퍼 정렬 팀 책임자 Jan 외에도 최소한 다섯 명의 안전 팀원이 퇴사했습니다.

그 중 한 명은 비방 금지 계약서에 서명하지 않은 강경한 인물인 Daniel Kokotajlo(이하 DK 형)입니다.

△ 작년 DK 형은 AI가 생존 재앙을 일으킬 가능성을 70%로 보았습니다.

DK 형은 2022년에 OpenAI에 합류하여 거버넌스 팀에서 일하며, 주로 OpenAI의 안전한 AI 배포를 안내하는 일을 했습니다.

하지만 그는 최근 퇴사했으며, 외부 인터뷰에서 다음과 같이 말했습니다:

OpenAI는 더 강력한 AI 시스템을 훈련하고 있으며, 궁극적으로 인간의 지능을 완전히 초월하는 것을 목표로 하고 있습니다.
이것은 인류 역사상 가장 좋은 일이 될 수 있지만, 우리가 조심하지 않으면 가장 나쁜 일이 될 수 있습니다.

DK 형은 그가 OpenAI에 합류했을 때, 안전 거버넌스에 대한 복수와 희망을 품고 있었으며, OpenAI가 AGI에 가까워질수록 더 책임감 있게 행동하기를 바랐습니다. 하지만 팀의 많은 사람이 점차 OpenAI가 그렇게 하지 않을 것이라는 것을 깨닫게 되었습니다.

"OpenAI의 리더십과 그들이 AGI를 책임감 있게 처리할 수 있는 능력에 대한 신뢰를 점차 잃게 되었습니다." 이것이 DK 형이 퇴사한 이유입니다.

미래 AGI 안전 작업에 대한 실망은 Ilya의 퇴사 물결에서 사람들이 떠나는 부분적인 이유입니다.

또 다른 이유는 슈퍼 정렬 팀이 외부에서 생각하는 것처럼 자원이 풍부하게 연구를 진행할 수 없다는 것입니다.

비록 슈퍼 정렬 팀이 만전을 기하고 있지만, 팀은 OpenAI가 약속한 20%의 계산력만을 얻을 수 있습니다.

그리고 팀의 일부 요청은 자주 거부됩니다.

물론 계산력 자원은 AI 회사에 매우 중요하기 때문에, 모든 점을 합리적으로 분배해야 합니다; 또한 슈퍼 정렬 팀의 작업은 "회사가 AGI를 성공적으로 구축할 경우 실제로 발생할 수 있는 다양한 유형의 안전 문제를 해결하는 것"입니다.

다시 말해, 슈퍼 정렬 팀은 OpenAI가 직면해야 할 미래의 안전 문제에 대응하는 것입니다------강조하자면, 미래의, 발생할지 여부도 불확실한 문제입니다.

기사가 발행될 때까지, 울트라맨은 아직 그의 "Jan의 폭로보다 더 긴 트윗"을 발송하지 않았습니다.

하지만 그는 간단히 언급했습니다. Jan의 안전 문제에 대한 우려는 옳으며, "우리는 아직 해야 할 일이 많습니다; 우리는 그렇게 하기로 헌신하고 있습니다."

이 점에서, 여러분은 일단 작은 의자에 앉아 기다리세요. 그때 함께 첫 번째로 이 이야기를 즐깁시다.

종합적으로, 현재 슈퍼 정렬 팀에서 많은 사람들이 떠났으며, 특히 Ilya와 Jan의 퇴사는 이 폭풍 속의 팀이 지도 없는 상황에 직면하게 만들었습니다.

후속 조치는 공동 창립자 John Schulma가 인수하는 것이지만, 더 이상 전담 팀은 없습니다.

새로운 슈퍼 정렬 팀은 더 느슨하게 연결된 그룹이 될 것이며, 구성원은 회사의 여러 부서에 분포되어 있으며, OpenAI 대변인은 이를 "더 깊이 통합"한다고 설명했습니다.

이 점은 외부에서 의문을 제기하고 있습니다. 왜냐하면 John의 원래 전일제 업무는 현재 OpenAI 제품의 안전 문제를 보장하는 것이었기 때문입니다.

갑자기 책임이 늘어난 후, John이 현재와 미래의 안전 문제를 모두 잘 이끌 수 있을지 궁금합니다.

Ilya-울트라맨 간의 갈등

시간의 축을 늘리면, 오늘의 분열은 OpenAI의 "궁중 싸움" Ilya-울트라맨 간의 갈등의 연속입니다.

시간을 작년 11월로 되돌리면, 그때 Ilya는 아직 있었고, OpenAI 이사회와 협력하여 울트라맨을 해고하려고 시도했습니다.

당시 제시된 이유는 그가 소통에서 충분히 진실하지 않다는 것이었습니다. 다시 말해, 우리는 그를 신뢰하지 않습니다.

하지만 최종 결과는 분명합니다. 울트라맨은 그의 "동맹"과 함께 마이크로소프트에 합류하겠다고 위협했고, 결과적으로 이사회는 굴복하여 해고 시도가 실패했습니다. Ilya는 이사회에서 물러났습니다. 그리고 울트라맨은 그에게 더 유리한 구성원을 이사회에 추가했습니다.

그 이후로 Ilya는 소셜 플랫폼에서 사라졌고, 며칠 전 공식적으로 퇴사한다고 발표했습니다. 그리고 그는 약 6개월 동안 OpenAI 사무실에 나타나지 않았다고 합니다.

그는 그 당시 의미심장한 트윗을 남겼지만, 곧 삭제했습니다.

지난 한 달 동안, 나는 많은 교훈을 얻었습니다. 그 중 하나는 "사기가 높아지기 전에 폭행은 계속된다"는 말이 그 의미보다 더 자주 적용된다는 것입니다.

하지만 내부 소식통에 따르면, Ilya는 원격으로 슈퍼 정렬 팀을 공동으로 이끌어왔습니다.

울트라맨 측에서는 직원들이 그에게 가장 큰 비난을 하는 것은 언행 불일치입니다. 예를 들어, 그는 안전을 우선시하고 싶다고 주장하지만 그의 행동은 모순적입니다.

약속된 계산 자원이 제공되지 않는 것 외에도, 최근에는 사우디아라비아와 같은 곳에서 자금을 모아 칩을 만들려고 했습니다.

안전을 중시하는 직원들은 혼란스러워했습니다.

그가 정말로 가능한 한 안전한 방식으로 인공지능을 구축하고 배포하는 것에 관심이 있다면, 기술 발전을 가속화하기 위해 이렇게 미친 듯이 칩을 축적하지는 않을 것입니다.

더 이전에 OpenAI는 울트라맨이 투자한 스타트업에서 칩을 주문했습니다. 금액은 5,100만 달러(약 36억 원)에 달합니다.

그리고 그 당시 궁중 싸움 며칠 동안 OpenAI 전 직원의 고발 편지에서 울트라맨에 대한 설명이 다시 한번 확인된 것 같습니다.

이렇듯 처음부터 끝까지 "언행 불일치"의 행동은 직원들이 OpenAI와 울트라맨에 대한 신뢰를 점차 잃게 만들었습니다.

Ilya도 그랬고, Jan Leike도 그랬고, 슈퍼 정렬 팀도 그랬습니다.

세심한 사용자들이 이 몇 년 동안 발생한 관련 사건의 중요한 이정표를 정리했습니다------먼저 친절한 알림을 드리자면, 아래에서 언급되는 P(doom)는 "AI가 세계 종말을 초래할 가능성"을 의미합니다.

• 2021년, GPT-3 팀 책임자가 "안전" 문제로 OpenAI를 떠나 Anthropic을 설립했습니다. 그 중 한 명은 P(doom)를 10-25%로 보았습니다;

• 2021년, RLHF 안전 연구 책임자가 퇴사하며 P(doom)를 50%로 보았습니다;

• 2023년, OpenAI 이사회가 울트라맨을 해고했습니다;

• 2024년, OpenAI가 두 명의 안전 연구원을 해고했습니다;

• 2024년, 안전에 특히 관심이 있는 OpenAI 연구원이 퇴사하며 P(doom)를 70%로 보았습니다.

• 2024년, Ilya와 Jan Leike가 퇴사했습니다.

기술파인가, 시장파인가?

대형 모델이 발전해온 지금, "AGI를 어떻게 실현할 것인가?"는 사실 두 가지 경로로 귀결될 수 있습니다.

기술파는 기술이 성숙하고 통제 가능해진 후에 적용하기를 원합니다; 시장파는 개방과 적용을 병행하며 "점진적으로" 목표에 도달해야 한다고 생각합니다.

이것이 바로 Ilya-울트라맨 간의 근본적인 갈등, 즉 OpenAI의 사명입니다:

AGI와 슈퍼 정렬에 집중할 것인가, 아니면 ChatGPT 서비스의 확장에 집중할 것인가? ChatGPT 서비스의 규모가 커질수록 필요한 계산량도 증가합니다; 이는 AGI 안전 연구에 소요되는 시간을 차지하게 됩니다.

만약 OpenAI가 연구에 전념하는 비영리 조직이라면, 그들은 슈퍼 정렬에 더 많은 시간을 투자해야 합니다.

하지만 OpenAI의 외부 조치를 보면, 결과는 분명히 그렇지 않습니다. 그들은 단지 대형 모델 경쟁에서 선두를 차지하고 기업과 소비자에게 더 많은 서비스를 제공하고 싶어합니다.

이것은 Ilya에게 매우 위험한 일로 보입니다. 우리가 규모가 커짐에 따라 무슨 일이 일어날지 확실히 알 수는 없지만, Ilya에게는 가장 좋은 방법이 안전이 우선이라는 것입니다.

개방적이고 투명해야만 인류가 안전하게 AGI를 구축할 수 있으며, 어떤 비밀스러운 방식으로 하지 않아야 합니다.

하지만 울트라맨이 이끄는 OpenAI는 개방형 소스나 슈퍼 정렬을 추구하지 않는 것 같습니다. 반대로, AGI 방향으로 미친 듯이 달려가면서 방어선을 구축하려고 합니다.

그렇다면 마지막으로 AI 과학자 Ilya의 선택이 옳은 것인지, 실리콘밸리 상인 울트라맨이 마지막까지 갈 수 있는 것인지 알 수 없습니다.

현재로서는 알 수 없습니다. 하지만 적어도 OpenAI는 지금 중요한 선택에 직면해 있습니다.

업계 관계자는 두 가지 주요 신호를 요약했습니다.

하나는 ChatGPT가 OpenAI의 주요 수입원이며, 더 나은 모델이 뒷받침되지 않으면 GPT-4를 모든 사람에게 무료로 제공하지 않을 것이라는 것입니다;

다른 하나는 퇴사한 팀원들(Jan, Ilya 등)이 곧 더 강력한 기능이 나올 것이라고 걱정하지 않는다면, 그들은 정렬 문제에 대해 걱정하지 않을 것입니다…… 만약 AI가 이 수준에 머물러 있다면, 기본적으로 상관없습니다.

하지만 OpenAI의 근본적인 모순은 해결되지 않았습니다. 한쪽은 불을 지피는 AI 과학자들이 AGI의 책임 있는 발전에 대한 우려를 가지고 있고, 다른 쪽은 실리콘밸리 시장파가 상업화 방식으로 기술의 지속 가능성을 추진하려는 긴급함을 가지고 있습니다.

두 진영은 더 이상 조화롭게 공존할 수 없으며, 과학파는 OpenAI에서 완전히 퇴출되고 있습니다. 외부에서는 GPT가 도대체 어느 단계에 있는지 여전히 알지 못합니다.

이 문제의 답을 간절히 알고 싶어하는 구경꾼들은 조금 지쳐 있습니다.

무력감이 마음속에 밀려옵니다. 마치 Ilya의 스승이자 튜링 상 3대 거두 중 한 명인 Hinton이 말한 것처럼:

나는 늙었고, 걱정하지만, 무력합니다.

참고 링크:
[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
[2]https://x.com/janleike/status/1791498174659715494
[3]https://twitter.com/sama/status/1791543264090472660