Variant 투자 파트너: 오픈 소스 AI의 딜레마와 돌파구, 왜 암호 기술이 마지막 퍼즐 조각인가?

저자：Daniel Barabander

편집：심조 TechFlow

간략 요약

• 현재 기초 AI의 개발은 몇몇 대형 기술 회사에 의해 주도되고 있으며, 폐쇄성과 경쟁 부족의 특징을 보이고 있다.

• 오픈 소스 소프트웨어 개발은 잠재적인 해결책이지만, 기초 AI는 전통적인 오픈 소스 프로젝트(예: Linux)처럼 운영될 수 없으며, "자원 문제"에 직면해 있다: 오픈 소스 기여자는 시간 외에도 개인의 능력을 초과하는 계산 및 데이터 비용을 감당해야 한다.

• 암호 기술은 자원 제공자가 기초 오픈 소스 AI 프로젝트에 참여하도록 유도함으로써 이 자원 문제를 해결할 수 있는 가능성이 있다.

• 오픈 소스 AI와 암호 기술의 결합은 더 대규모의 모델 개발을 지원하고 더 많은 혁신을 촉진하여 더 발전된 AI 시스템을 창출할 수 있다.

서론

2024년 피우 연구 센터(Pew Research Center)의 조사에 따르면, 64%의 미국인이 소셜 미디어가 국가에 미치는 영향이 해롭다고 생각하며; 78%는 소셜 미디어 회사가 정치에서 지나치게 큰 권력과 영향력을 가지고 있다고 응답했다; 83%는 이러한 플랫폼이 그들이 동의하지 않는 정치적 견해를 의도적으로 검열할 가능성이 높다고 믿고 있다. 소셜 미디어에 대한 불만은 미국 사회에서 드문 공감대 중 하나가 되었다.

지난 20년간 소셜 미디어 발전의 과정을 돌아보면, 이러한 상황은 이미 예견된 것이었다. 이야기는 복잡하지 않다: 몇몇 대형 기술 회사가 사용자들의 주목을 끌었고, 더 중요한 것은 사용자 데이터를 장악했다. 처음에는 데이터 개방에 대한 희망이 있었지만, 이들 회사는 곧 전략을 변경하여 데이터를 활용해 깨지지 않는 네트워크 효과를 구축하고 외부 접근을 차단했다. 결국 오늘날의 상황이 형성되었다: 10개도 채 되지 않는 대형 기술 회사가 소셜 미디어 산업을 지배하며 "과점" 구조를 이루고 있다. 현 상황이 이들에게 매우 유리하기 때문에 이들 회사는 변화를 위한 동기가 거의 없다. 이러한 모델은 폐쇄적이며 경쟁이 부족하다.

현재 AI 기술의 발전 궤적이 이와 유사하게 재현되고 있는 듯 보이지만, 이번에는 그 영향이 더욱 깊다. 몇몇 기술 회사가 GPU와 데이터 자원을 장악하여 기초 AI 모델을 구축하고, 외부에 이 모델의 접근을 차단하고 있다. 수십억 달러의 자본이 없는 신규 진입자가 경쟁력 있는 모델을 개발하는 것은 거의 불가능하다. 단순히 기초 모델을 훈련하는 데 드는 계산 비용만 해도 수십억 달러에 달하며, 이전 기술 물결에서 이익을 본 소셜 미디어 회사들은 독점적인 사용자 데이터에 대한 통제력을 활용하여 경쟁자가 도달할 수 없는 모델을 개발하고 있다. 우리는 소셜 미디어의 전철을 밟고 있으며, 폐쇄적이고 경쟁이 부족한 AI 세계로 나아가고 있다. 이러한 추세가 지속된다면, 몇몇 기술 회사는 정보와 기회의 접근에 대해 제한 없는 통제권을 가지게 될 것이다.

오픈 소스 AI와 "자원 문제"

우리가 폐쇄적인 AI 세계를 원하지 않는다면, 우리의 선택은 무엇인가? 명백한 답은 기초 모델을 오픈 소스 소프트웨어 프로젝트로 개발하는 것이다. 역사적으로 우리는 일상적으로 의존하는 기초 소프트웨어를 성공적으로 구축한 수많은 오픈 소스 프로젝트가 있었다. 예를 들어, Linux의 성공은 운영 체제와 같은 핵심 소프트웨어조차도 오픈 소스 방식으로 개발될 수 있음을 증명했다. 그렇다면 왜 LLM(대형 언어 모델)은 그럴 수 없는가?

그러나 기초 AI 모델이 직면한 특별한 제한은 그것들을 전통적인 소프트웨어와 다르게 만들며, 이는 전통적인 오픈 소스 프로젝트로서의 실행 가능성을 크게 약화시킨다. 구체적으로, 기초 AI 모델은 막대한 계산 및 데이터 자원을 필요로 하며, 이러한 자원은 개인의 능력을 훨씬 초과한다. 전통적인 오픈 소스 프로젝트가 사람들의 시간 기부에만 의존하는 것과 달리, 오픈 소스 AI는 사람들이 계산 능력과 데이터 자원을 기부해야 하며, 이것이 바로 "자원 문제"이다.

Meta의 LLaMa 모델을 예로 들면, 우리는 이 자원 문제를 더 잘 이해할 수 있다. OpenAI와 Google과 같은 경쟁자들과 달리, Meta는 모델을 유료 API 뒤에 숨기지 않고 LLaMa의 가중치를 공개하여 누구나 무료로 사용할 수 있도록 했다(일정한 제한이 있음). 이러한 가중치는 모델이 Meta의 훈련 과정에서 학습한 지식을 포함하고 있으며, 모델을 실행하는 데 필요한 조건이다. 이러한 가중치를 가진 사용자는 모델을 미세 조정하거나 모델의 출력을 새로운 모델의 입력으로 사용할 수 있다.

Meta가 LLaMa의 가중치를 공개한 것은 긍정적이지만, 이는 진정한 오픈 소스 소프트웨어 프로젝트로 간주될 수 없다. Meta는 모델의 훈련 과정을 비공식적으로 통제하고 있으며, 자신의 계산 자원, 데이터 및 결정을 의존하고 있으며, 언제 대중에게 모델을 공개할지를 일방적으로 결정한다. Meta는 독립 연구자나 개발자가 커뮤니티 협력에 참여하도록 초대하지 않았다. 왜냐하면 모델을 훈련하거나 재훈련하는 데 필요한 자원은 일반 개인의 능력을 훨씬 초과하기 때문이다. 이러한 자원에는 수만 개의 고성능 GPU, 이러한 GPU를 저장할 데이터 센터, 복잡한 냉각 시설, 그리고 훈련에 필요한 수조 개의 토큰(모델 훈련에 필요한 텍스트 데이터 단위)이 포함된다. 스탠포드 대학교 2024년 인공지능 지수 보고서에 따르면, "훈련 비용의 급격한 상승은 전통적으로 AI 연구의 중심지였던 대학들을 최상위 기초 모델 개발에서 배제시켰다." 예를 들어, Sam Altman은 GPT-4 훈련 비용이 1억 달러에 달한다고 언급했다, 이는 하드웨어 시설에 대한 자본 지출을 포함하지 않는다. 또한, Meta의 자본 지출은 2024년 2분기에 2023년 동기 대비 21억 달러 증가했다, 주로 AI 모델 훈련과 관련된 서버, 데이터 센터 및 네트워크 인프라에 사용되었다. 따라서 LLaMa의 커뮤니티 기여자는 모델 아키텍처를 개선할 기술적 능력을 가질 수 있지만, 이러한 개선을 실현할 충분한 자원이 부족하다.

요약하자면, 전통적인 오픈 소스 소프트웨어 프로젝트와 달리, 오픈 소스 AI 프로젝트는 기여자가 시간뿐만 아니라 높은 계산 및 데이터 비용을 감당해야 한다. 선의와 자원 봉사 정신만으로는 충분한 자원 제공자를 유도하는 것이 비현실적이다. 그들은 추가적인 유인 메커니즘이 필요하다. 오픈 소스 대형 언어 모델 BLOOM의 예를 들면, 이 모델은 1760억 개의 매개변수를 가지고 있으며, 70개 이상의 국가와 250개 이상의 기관에서 1000명의 자원 연구자들의 노력을 모았다. BLOOM의 성공은 칭찬할 만하지만(나는 이를 전적으로 지지한다), 훈련을 조정하는 데 1년이 걸렸고, 프랑스 연구 기관이 제공한 300만 유로의 자금 지원에 의존했다(이는 모델 훈련에 사용된 슈퍼 컴퓨터의 자본 지출을 포함하지 않는다). 새로운 자금 지원에 의존하여 BLOOM의 과정을 조정하고 반복하는 것은 대형 기술 실험실의 개발 속도와 비교할 수 없을 정도로 번거롭다. BLOOM이 출시된 지 2년이 넘었지만, 현재까지 해당 팀이 후속 모델을 개발했다는 소식은 없다.

오픈 소스 AI를 가능하게 하려면, 우리는 자원 제공자가 자신의 계산 능력과 데이터 자원을 기부하도록 유도할 방법을 찾아야 하며, 오픈 소스 기여자가 이러한 비용을 스스로 부담하게 해서는 안 된다.

왜 암호 기술이 기초 오픈 소스 AI의 "자원 문제"를 해결할 수 있는가

암호 기술의 핵심 혁신은 "소유권" 메커니즘을 통해 높은 자원 비용의 오픈 소스 소프트웨어 프로젝트를 가능하게 한다는 것이다. 이는 자원 제공자가 네트워크에 참여하도록 유도함으로써 오픈 소스 AI의 자원 문제를 해결하며, 오픈 소스 기여자가 사전에 이러한 자원 비용을 부담하도록 하지 않는다.

비트코인은 좋은 예이다. 가장 초기의 암호 프로젝트인 비트코인은 완전한 오픈 소스 소프트웨어 프로젝트로, 그 코드가 처음부터 공개되었다. 그러나 코드 자체가 비트코인의 핵심이 아니다. 단순히 비트코인 노드 소프트웨어를 다운로드하고 실행하여 로컬에서 블록체인을 생성하는 것은 실제로 의미가 없다. 오직 채굴 블록의 계산량이 어떤 단일 기여자의 계산 능력을 초과할 때, 이 소프트웨어의 진정한 가치가 드러난다: 탈중앙화된, 누구도 통제하지 않는 장부를 유지하는 것이다. 기초 오픈 소스 AI와 유사하게, 비트코인도 개인의 능력을 초과하는 자원이 필요한 오픈 프로젝트이다. 두 프로젝트의 계산 자원 요구는 다르지만—비트코인은 네트워크의 불변성을 보장하기 위해 계산 자원이 필요하고, 기초 AI는 모델을 최적화하고 반복하기 위해 계산 자원이 필요하다—둘 다 개인의 능력을 초과하는 자원에 의존해야 한다는 공통점이 있다.

비트코인과 다른 어떤 암호 네트워크가 자원 제공자가 오픈 소스 소프트웨어 프로젝트에 자원을 제공하도록 유도할 수 있는 "비결"은 토큰을 통해 네트워크 소유권을 제공하는 것이다. 2020년 Jesse가 Variant에 기고한 창립 이념에 따르면, 소유권은 자원 제공자에게 강력한 동기를 제공하여 그들이 네트워크의 잠재적 수익을 교환하기 위해 자원을 기부하도록 만든다. 이 메커니즘은 스타트업이 "땀의 지분"(Sweat Equity)을 통해 초기 자금 부족 문제를 해결하는 방식과 유사하다—회사의 소유권 형태로 초기 직원(예: 창립자)에게 주로 보상함으로써, 스타트업은 그들이 감당할 수 없는 인력을 유치할 수 있다. 암호 기술은 "땀의 지분" 개념을 시간 기여자에 국한하지 않고 자원 제공자에게까지 확장한다. 따라서 Variant는 소유권 메커니즘을 활용하여 네트워크 효과를 구축하는 프로젝트에 투자하는 데 집중하고 있다, 예를 들어 Uniswap, Morpho 및 World와 같은 프로젝트가 있다.

우리가 오픈 소스 AI를 현실로 만들고자 한다면, 암호 기술을 통해 구현된 소유권 메커니즘이 자원 문제를 해결하는 핵심 솔루션이 될 것이다. 이 메커니즘은 연구자들이 그들의 모델 설계 아이디어를 오픈 소스 프로젝트에 자유롭게 기여할 수 있게 하며, 이러한 아이디어를 실현하는 데 필요한 계산 및 데이터 자원은 자원 제공자가 부담하게 되고, 자원 제공자는 프로젝트의 일부 소유권을 보상으로 받게 된다. 오픈 소스 AI에서 소유권은 여러 형태를 가질 수 있지만, 가장 기대되는 형태 중 하나는 모델 자체에 대한 소유권이며, 이는 Pluralis가 제안한 솔루션이다.

Pluralis가 제안한 이 방법은 프로토콜 모델로 불린다. 이 모델에서는 계산 자원 제공자가 특정 오픈 소스 모델을 훈련하기 위해 계산 능력을 기여하고, 그 결과 해당 모델의 미래 추론 수익의 일부 소유권을 얻는다. 이 소유권은 특정 모델에 연결되어 있으며, 그 가치가 모델의 추론 수익에 기반하므로, 계산 자원 제공자는 최적의 모델을 선택하여 훈련하도록 유도되며, 훈련 데이터를 위조하지 않게 된다(왜냐하면 무용한 훈련을 제공하면 미래 추론 수익의 예상 가치를 직접적으로 감소시키기 때문이다). 그러나 한 가지 중요한 질문은 훈련 과정에서 모델의 가중치를 계산 제공자에게 전송해야 할 경우, Pluralis가 소유권의 안전성을 어떻게 보장하는가이다. 그 답은 "모델 병렬화"(Model Parallelism) 기술을 사용하여 모델을 여러 조각으로 나누어 다양한 작업자에게 분배하는 것이다. 신경망의 중요한 특성 중 하나는 모델 가중치의 극히 일부만 알고 있어도 계산자가 훈련에 참여할 수 있다는 것이다. 이를 통해 전체 가중치 집합이 추출되지 않도록 보장할 수 있다. 또한, Pluralis 플랫폼에서는 동시에 여러 다른 모델을 훈련하므로, 훈련자는 많은 다양한 가중치 집합에 직면하게 되어 전체 모델을 재구성하는 것이 극히 어려워진다.

프로토콜 모델의 핵심 개념은 이러한 모델이 훈련되고 사용될 수 있지만, 프로토콜에서 완전히 추출될 수는 없다는 것이다(모델을 처음부터 훈련하는 데 필요한 자원을 초과하는 계산 능력을 사용하지 않는 한). 이 메커니즘은 폐쇄적인 AI 경쟁자가 오픈 소스 프로젝트의 노동 결과물을 도용할 수 있다는 비판자들이 자주 제기하는 문제를 해결한다.

왜 암호 기술 + 오픈 소스 = 더 나은 AI인가

글의 시작 부분에서, 나는 대형 기술 회사의 AI에 대한 통제를 분석하여 폐쇄형 AI의 도덕적 및 규범적 문제를 설명했다. 그러나 무력감이 가득한 네트워크 시대에, 이러한 주장이 대다수 독자에게 공감을 얻기 어려울까 걱정된다. 따라서 나는 실제 효과를 바탕으로, 암호 기술이 지원하는 오픈 소스 AI가 왜 진정으로 더 나은 AI를 가져올 수 있는지에 대한 두 가지 이유를 제시하고자 한다.

첫째, 암호 기술과 오픈 소스 AI 의 결합은 더 많은 자원을 조정하여 차세대 기초 모델(Foundation Models)의 발전을 촉진할 수 있다. 연구에 따르면, 계산 능력이나 데이터 자원의 증가가 모델 성능 향상에 기여하며, 이것이 기초 모델의 규모가 지속적으로 확대되는 이유이다. 비트코인은 오픈 소스 소프트웨어와 암호 기술의 결합이 계산 능력에서 보여주는 잠재력을 보여준다. 비트코인은 세계에서 가장 크고 강력한 계산 네트워크가 되었으며, 그 규모는 대형 기술 회사가 소유한 클라우드 컴퓨팅 자원을 훨씬 초과한다. 암호 기술의 독특한 점은 고립된 경쟁을 협력적 경쟁으로 전환할 수 있다는 것이다. 자원 제공자가 공동 문제를 해결하기 위해 자원을 기부하도록 유도함으로써, 각자 싸우고 중복 작업을 하는 대신, 암호 네트워크는 자원의 효율적인 활용을 실현한다. 암호 기술을 활용한 오픈 소스 AI는 전 세계의 계산 및 데이터 자원을 활용하여 폐쇄형 AI를 초월하는 규모의 모델을 구축할 수 있다. 예를 들어, Hyperbolic 회사는 이러한 모델의 잠재력을 보여주었다. 그들은 개방된 시장을 통해 누구나 낮은 비용으로 GPU를 임대할 수 있도록 하여 분산 계산 자원을 최대한 활용하고 있다.

둘째, 암호 기술과 오픈 소스 AI 의 결합은 혁신의 가속화를 촉진할 것이다. 이는 자원 문제가 해결되면 머신러닝 연구가 다시 그 고도로 반복적이고 혁신적인 오픈 소스 본질로 돌아갈 수 있기 때문이다. 기초 대형 언어 모델(LLM)이 등장하기 전, 머신러닝 분야의 연구자들은 일반적으로 그들의 모델과 복제 가능한 설계 청사진을 공개적으로 발표했다. 이러한 모델은 일반적으로 오픈 소스 데이터 세트를 사용하며, 계산 요구도 상대적으로 낮아 연구자들이 이를 기반으로 지속적으로 최적화하고 혁신할 수 있었다. 바로 이러한 개방적인 반복 과정이 순차 모델링 분야의 많은 돌파구를 낳았으며, 순환 신경망(RNN), 장단기 기억 네트워크(LSTM) 및 주의 메커니즘(Attention Mechanisms)을 가능하게 하였다. 그러나 GPT-3 출시 이후 이러한 개방적인 연구 방식은 변화가 있었다. OpenAI는 GPT-3와 ChatGPT의 성공을 통해 충분한 계산 자원과 데이터를 투입하면 언어 이해 능력을 갖춘 대형 언어 모델을 훈련할 수 있음을 증명했다. 이러한 추세는 자원 장벽의 급격한 상승을 초래하여 학계가 점차 배제되었고, 대형 기술 회사들은 경쟁 우위를 유지하기 위해 더 이상 그들의 모델 아키텍처를 공개하지 않게 되었다. 이러한 상황은 AI 최전선 기술을 추진하는 우리의 능력을 제한하고 있다.

암호 기술을 통해 구현된 오픈 소스 AI는 이러한 상황을 변화시킬 수 있다. 이는 연구자들이 다시 최전선 모델을 반복하여 "다음 Transformer"를 발견할 수 있게 한다. 이러한 결합은 자원 문제를 해결할 뿐만 아니라 머신러닝 분야의 혁신 활력을 재활성화하여 AI의 미래 발전을 위한 더 넓은 길을 열어줄 것이다.