AI가 GPU 부족 현상을 일으키다: 블록체인이 머신러닝 병목 현상을 어떻게 완화할 수 있을까?

원문 제목: AI의 부상과 GPU 부족: 블록체인이 머신러닝 병목 현상을 완화하는 방법

원문 저자: Tommy Eastman

원문 번역: Frank, Foresight News

인공지능의 발전과 GPU 수요 증가로 인해 머신러닝 산업은 GPU 비용과 접근성 문제에 직면하고 있으며, 블록체인 기술이 어떻게 해결책을 제공하는지 살펴보겠습니다.

GPU 산업

지난 1년 동안 인공지능 기반 애플리케이션과 통합이 크게 성장했습니다. OpenAI의 ChatGPT는 출시된 지 불과 두 달 만에 1억 명의 월간 활성 사용자에 도달하며 역사상 가장 빠르게 성장한 애플리케이션이 되었습니다. 반면 TikTok은 9개월, Instagram은 18개월이 걸려 같은 이정표에 도달했습니다.

인공지능에 대한 수요는 그래픽 처리 장치(GPU)의 가치와 가용성에 큰 영향을 미쳤습니다. GPU는 병렬 계산을 수행하도록 최적화된 처리 장치로, 많은 데이터를 동시에 처리할 수 있어 머신러닝, 비디오 편집 및 게임 애플리케이션에 유용합니다. GPU는 인공지능 분야에서 다목적으로 사용되기 때문에 시장에서의 수요가 증가하고 있습니다.

GPU는 소수의 회사에 의해 개발 및 판매되고 있으며, 이는 제조업 공급망의 지연에서 명백히 드러납니다. 2017년 불황 이후, 이들은 블록체인 산업과 밀접하게 연관되어 있으며, 2018년에는 이더리움 작업 증명 채굴자가 거의 모든 사용 가능한 GPU를 구매했습니다. 이더리움 블록체인은 지분 증명으로 전환되었지만, 인공지능의 폭발적인 성장과 함께 블록체인 기술은 여전히 GPU 확보, 훈련 비용, 분산 추론 등 일반적인 문제에 유용한 해결책을 제공합니다.

머신러닝 과정과 병목 현상

머신러닝은 방대하고 빠르게 발전하는 산업입니다. 모델 훈련은 일반적으로 여러 단계로 나뉘며, 각 단계마다 특정한 병목 현상이 존재합니다.

1. 기본 모델 훈련

기본 모델 훈련은 대규모 데이터 세트(예: 위키백과)를 수집하고 초기 기본 모델을 훈련하여 일반 지능 모델로 사용하거나 최종적으로 미세 조정하는 과정을 포함합니다. 이 모델은 학습된 패턴과 관계를 사용하여 시퀀스에서 다음 항목을 예측합니다.

예를 들어, 이미지 생성 모델은 이미지 패턴을 해당 텍스트와 연관시키도록 훈련되므로, 주어진 텍스트 입력에 따라 이러한 학습된 패턴을 기반으로 이미지를 생성합니다. 유사하게, 텍스트의 경우 모델은 이전 단어와 문맥을 바탕으로 텍스트 문자열에서 다음 단어를 예측합니다.

기본 모델 훈련은 인력, 인프라, 시간 및 에너지 측면에서 비용이 많이 들며, 현재의 공급망은 최첨단 NVIDIA GPU를 확보하기가 어렵습니다. 자금이 풍부한 회사에게도 마찬가지입니다.

예를 들어 OpenAI의 GPT-3의 반복 훈련은 몇 개월이 걸렸으며, 에너지 비용만으로도 수백만 달러가 소모되었습니다. 따라서 기본 모델 훈련은 여전히 비용이 많이 드는 노력으로, 소수의 민간 기업만이 이를 수행할 수 있습니다.

2. 미세 조정

기본 모델 훈련에 비해 미세 조정은 자원 집약도가 낮으며, 특정 작업에 대한 모델(예: 새로운 방언을 학습하는 언어 모델)을 최적화합니다. 기본 모델은 특정 작업에서의 성능을 미세 조정을 통해 크게 향상시킬 수 있습니다.

GPU 부족은 이 세 가지 분야에 영향을 미치지만, 미세 조정은 가장 적은 영향을 받습니다. 그러나 미세 조정은 완전히 오픈 소스 기본 모델에 의존합니다. 만약 민간 기업이 모델의 오픈 소스를 중단하기로 결정하면, 커뮤니티 모델은 최신 모델(SOTA)에 비해 놀라운 속도로 뒤처질 것입니다.

3. 추론

모델에 접근하는 것은 이 단계의 마지막 단계로, 예를 들어 ChatGPT에서 질문에 대한 답변을 받는 것은 안정적인 확산을 기반으로 생성된 이미지와 관련이 있습니다. 이 과정은 모델 쿼리를 위해 GPU 자원이 필요합니다. 추론은 계산 요구 사항 측면에서 빠르게 증가하고 있으며, 특히 GPU 지출 측면에서 그렇습니다.

추론은 최종 사용자와 모델을 애플리케이션에 통합하는 개발자를 모두 포함하며, 이는 해당 모델의 경제적 실행 가능성을 보장하는 방법입니다. 이 개념은 인공지능 시스템을 사회에 통합하는 데 매우 중요하며, 그 중요성은 최종 사용자가 ChatGPT와 같은 도구를 적극적으로 사용하는 빠른 채택률에서 드러납니다.

GPU의 부족은 추론 비용을 급격히 상승시킵니다. 기본 모델 훈련에 비해 추론의 기준선 요구 사항은 낮지만, 회사가 애플리케이션을 배포하는 규모는 모델 쿼리를 위한 GPU 부하가 엄청나게 요구됩니다. GPU 모델의 다양성이 증가함에 따라(미세 조정 및 새로운 기본 모델 개발을 통해), 애플리케이션의 다양성도 증가할 것이며, 추론에서의 GPU 수요는 급격히 증가할 것입니다.

블록체인이 머신러닝 병목 현상에 제공하는 해결책

과거에 GPU는 이더리움 및 기타 PoW 토큰을 채굴하는 데 사용되었습니다. 현재 블록체인은 머신러닝 측면에서 GPU 공간의 접근과 증가를 조정할 수 있는 독특한 기회로 여겨집니다.

암호화 인센티브

대규모 GPU 배포는 많은 초기 자본을 필요로 하며, 이는 대기업 외의 모든 회사가 이 분야에서 발전하는 데 장애가 됩니다. 블록체인 인센티브는 GPU 소유자에게 여분의 컴퓨팅에서 수익을 창출할 수 있는 잠재력을 제공하며, 사용자에게는 더 저렴하고 접근하기 쉬운 시장을 창출합니다.

분산 접근

누구나 컴퓨팅을 제공/사용하고, 모델을 호스팅하며, 모델을 쿼리할 수 있습니다. 이는 테스트 버전이거나 전통적인 공간에서 제한된 접근 권한을 가진 것과는 명백히 다릅니다.

블록체인이 머신러닝 공간에 제공할 수 있는 중요한 특성 중 하나는 분산 접근입니다. 전통적으로 머신러닝은 대규모 데이터 센터를 필요로 했으며, FMT는 비클러스터 GPU에서 대규모로 완료되지 않았습니다. 분산 프로토콜은 이 문제를 해결하려고 시도하고 있으며, 성공할 경우 FMT의 문을 열 것입니다.

시장 조정

블록체인 시장은 GPU 조달을 조정하는 데 도움을 주며, GPU를 소유한 개인과 회사가 이를 임대하고자 하는 사람들을 찾을 수 있게 합니다. GPU가 유휴 상태일 때 수익을 창출하는 것은 GPU 구매의 초기 비용을 상쇄하는 데 도움이 되며, 더 많은 실체가 GPU 호스팅에 참여할 수 있게 합니다.

Foundry의 책임 있는 AI에 대한 약속

블록체인 머신러닝 분야는 이제 막 시작된 산업으로, 메인넷에는 몇 가지 프로젝트만 존재합니다. 현재 Foundry는 Bittensor AI 프로젝트와 Akash를 지원하고 있으며, 이는 분산 AI를 발전시키는 의미 있는 방법으로 입증되었습니다.

Bittensor

Bittensor는 분산형, 허가 없는 컴퓨팅 네트워크로, 모델에 더 쉽게 접근할 수 있도록 하며 암호화 인센티브를 통해 더 저렴한 모델 시장을 창출합니다. 누구나 모델을 호스팅할 수 있으며, 사용자 프롬프트는 주어진 모드에서 순위가 가장 높은 모델과 일치합니다.

Bittensor는 블록체인을 활용하여 대규모 컴퓨팅 추론 네트워크를 구축하며, 최근에는 이미지 생성, 예측 시장 등 다양한 모드를 유도하는 서브넷을 출시했습니다.

Foundry는 네트워크에서 검증 및 채굴을 수행하며, 합의를 보장하기 위해 권위 증명 노드를 운영합니다.

Akash

Akash는 일반적인 컴퓨팅 시장으로, GPU에 더 쉽게 대규모 접근할 수 있도록 하여 더 많은 기본 모델을 훈련하고 GPU 비용을 낮춥니다.

Akash는 최근 GPU 시장을 출시했으며, 그 목표는 진입 자본 장벽을 줄이고 GPU 계산 비용을 낮추며 접근성을 증가시키는 것입니다. 기본 모델 훈련 프로그램은 Akash에서 발전하고 있습니다. Foundry는 네트워크에 GPU 계산을 제공하고 팀과 협력하여 기능을 개발하고 있습니다.

다음은 무엇인가?

머신러닝이 기업에 계속 통합됨에 따라 GPU에 대한 수요는 계속해서 급증할 것이며, 이는 머신러닝 분야에서 지속적인 공급망 문제를 초래하고 있습니다. 블록체인 기술은 모델에 대한 분산 접근을 허용하고 암호화 인센티브가 있는 더 저렴한 모델 시장을 창출함으로써 낮은 계산 비용의 GPU에 대한 접근을 위한 다리를 제공합니다.