Hack VC 合夥人:AI+Crypto 的 8 大真正優勢

Hack VC
2024-06-24 23:52:36
收藏
剖析加密 x AI 設想,討論其中真正的挑戰和機遇,哪些是空洞的承諾?哪些又切實可行?

作者: Ed Roman , Hack VC 管理合夥人

編譯:1912212.eth , Foresight News

AI + Crypto 是近期加密貨幣市場備受矚目的前沿領域之一,比如去中心化 AI 訓練、 GPU DePINs 以及抗審查的 AI 模型等。

在這些令人眼花繚亂的進展背後,我們不禁要問:這究竟是真正的科技突破還是只是在蹭熱點?本篇文章將為你撥開迷霧,剖析加密 x AI 設想和討論其中真正的挑戰和機遇,並揭示哪些是空洞的承諾,哪些又切實可行?

設想#1:去中心化 AI 訓練

鏈上 AI 訓練的問題在於需要 GPU 間的高速通信和協調,因為神經網絡在訓練時需要反向傳播。 Nvidia 為此有兩項創新( NVLink 和 InfiniBand )。這些技術使 GPU 通信變得超快,但它們僅限本地技術,僅適用於位於單個數據中心內的 GPU 集群(50+ 千兆位速度)。

如果引入去中心化網絡,由於網絡延遲和帶寬增加,速度會突然變慢幾個數量級。與從數據中心內的 Nvidia 高速互連獲得的吞吐量相比,這種速度對於 AI 訓練用例來說是不可能的。

請注意,以下也有創新可能會給未來帶來希望:

  • InfiniBand 上正大規模分佈式訓練,因為 NVIDIA 本身正在通過 NVIDIA Collective Communications Library 支持 InfiniBand 上的分佈式非本地訓練。然而,它仍處於新生階段,因此採用指標尚待確定。距離上的物理定律瓶頸仍然存在,因此 InfiniBand 上的本地訓練仍然要快得多。
  • 已經發表的一些關於去中心化訓練的新研究,這些研究通信同步時間變少,可能會使去中心化訓練在未來更加實用。
  • 模型訓練的智能分片和調度有助於提高性能。 同樣,新的模型架構可能是為未來的分佈式基礎設施專門設計的( Gensyn 正在這些領域進行研究)。

訓練的數據部分也具有挑戰性。任何 AI 訓練過程都涉及處理大量數據。通常,模型在具有高可擴展性和性能的中心化安全數據存儲系統上進行訓練。這需要傳輸和處理數 TB 的數據,並且這不是一次性周期。數據通常充滿噪音並且包含錯誤,因此在訓練模型之前必須對其進行清理,並轉換為可用的格式。此階段涉及標準化、過濾和處理缺失值的重複任務。這些都在去中心化環境中面臨嚴峻挑戰。

訓練的數據部分也是迭代的,這與 Web3 並不兼容。 Open AI 經歷了數千次迭代才取得了其成果。在 AI 團隊中,數據科學家最基本的任務場景包括定義目標、準備數據、分析和整理數據以提取重要見解,並使其適合建模。然後,開發機器學習模型來解決定義的問題,並使用測試數據集驗證其性能。這個過程是迭代的:如果當前模型表現不如預期,專家會返回到數據收集或模型訓練階段以改進結果。想像一下,這個過程如果在去中心化環境中進行,最先進的現有框架和工具在 Web3 中適配就變得不容易了。

另一個在鏈上訓練 AI 模型的問題是,相較於推理,這個市場要無趣得多。目前, AI 大型語言模型的訓練需要大量的 GPU 計算資源。從長遠來看,推理將成為 GPU 的主要應用場景。試想為了滿足全球需求,需要訓練多少個 AI 大型語言模型,與使用這些模型的客戶數量相比,哪個又更多?

設想#2:使用過度冗餘的 AI 推理計算來達成共識

關於加密與 AI 的另一個挑戰是驗證 AI 推理的準確性,因為你無法完全信任單一的中心化方來執行推理操作,節點存在可能出現不當行為的潛在風險。這種挑戰在 Web2 AI 中不存在,因為沒有去中心化共識系統。

解決方案是冗餘計算,讓多個節點重複同樣的 AI 推理操作,這樣可以在無需信任的環境中運行,避免單點故障。

然而這種方法的問題在於,高端 AI 芯片極度短缺。高端 NVIDIA 芯片的等待時間長達數年導致價格上漲。如果你要求 AI 推理在多個節點上多次重新執行,那麼就會成倍增加高昂成本,這對許多項目來說是不可行的。

設想#3:近期特定於 Web3 的 AI 用例

有人建議 Web3 應該有自己獨特的、專門針對 Web3 客戶的 AI 用例。這可以是(例如)使用 AI 對 DeFi 池進行風險評分的 Web3 協議、根據錢包歷史記錄為用戶建議新協議的 Web3 錢包,或者使用 AI 控制非玩家角色的 Web3 遊戲( NPC )。

目前來看,這是一個初創市場(在短期內),其中使用案例仍在探索階段。一些挑戰包括:

  • 由於市場需求仍處於起步階段, Web3 原生用例所需的潛在 AI 交易較少。
  • 客戶較少,與 Web2 客戶相比, Web3 客戶少了幾個數量級,因此市場的去中心化程度較低。
  • 客戶本身不太穩定,因為他們是資金較少的初創公司,一些初創公司可能會隨著時間的推移而消亡。而滿足 Web3 客戶的 Web3 AI 服務提供商可能需要重新獲得部分客戶群,以取代那些已經消失的客戶群,這使得擴展業務變得極具挑戰性。

長遠來看,我們非常看好 Web3 原生的 AI 用例,特別是隨著 AI 代理變得更加普遍。我們想像未來任何特定的 Web3 用戶都會有大量的 AI 代理,來幫助自己完成任務。

設想#4:消費級 GPU DePIN

有許多依賴消費級 GPU 而不是數據中心的去中心化 AI 計算網絡。消費類 GPU 非常適合低端 AI 推理任務或延遲、吞吐量和可靠性靈活的消費用例。但對於嚴肅的企業用例(這是重要的市場的大多數),與家用機器相比,客戶需要更高可靠性的網絡,並且如果他們有更複雜的推理任務,通常需要更高端的 GPU 。數據中心更適合這些更有價值的客戶用例。

請注意,我們認為消費級 GPU 適用於演示,以及能夠容忍較低可靠性的個人和初創企業。但這些客戶價值較低,因此我們認為專為 Web2 企業定制的 DePIN s ,長期來看將更有價值。因此, GPU DePIN 項目已經從早期主要使用消費級硬件,發展為具備 A100 / H100 和集群級可用性的情況。

現實------加密貨幣 x AI 的實際用例

現在我們討論能提供真正好處的用例。這些才是真正的勝利,加密貨幣 x AI 可以增加明顯的價值。

真正好處#1:為 Web2 客戶提供服務

麥肯錫估計,在分析的 63 個用例中,生成式 AI 每年可以增加相當於 2.6 萬億至 4.4 萬億美元的收入------相比之下,英國 2021 年 GDP 總額為 3.1 萬億美元。這將使 AI 的影響力增加 15% 至 40%。如果我們將生成式 AI 嵌入到目前用於用例之外的其他任務軟件中的影響考慮在內,估計影響力大約會增加一倍。

如果你根據上述估計進行計算,這意味著全球 AI (超越生成 AI )的總市場價值可能達到數十萬億美元。相比之下,今天所有加密貨幣(包括比特幣和所有山寨幣)的總價值僅為 2.7 萬億美元左右。因此,讓我們面對現實吧:短期內需要 AI 的絕大多數客戶將是 Web2 客戶,因為真正需要 AI 的 Web3 客戶將只占這 2.7 萬億美元的一小部分(考慮到 BTC 是這個市場,比特幣本身不需要 / 使用 AI )。

Web3 AI 用例才剛剛開始,目前還不清楚該市場規模有多大。但有一點是肯定的------可預見的未來,它僅占 Web2 市場中的一小部分。我們相信 Web3 AI 仍然有光明未來,但這僅僅意味著 Web3 AI 目前最強大的應用是服務 Web2 客戶。

假設可以從 Web3 AI 中受益的 Web2 客戶示例包括:

  • 從頭開始構建以 AI 為中心的垂直特定軟件公司(例如 Cedar . ai 或 Observe . ai )
  • 為了自己目的而微調模型的大型企業(例如 Netflix )
  • 快速增長的 AI 提供商(例如 Anthropic )
  • 將 AI 融入現有產品的軟件公司(例如 Canva )

這是相對穩定的客戶角色,因為客戶通常規模大且有價值。他們不太可能很快倒閉,而且他們代表了 AI 服務的巨大潛在客戶。為 Web2 客戶提供服務的 Web3 AI 服務將受益於這些穩定的客戶群。

但為什麼 Web2 客戶想要使用 Web3 堆棧呢?這篇文章的接下來部分闡述了這種情況。

真正好處#2:通過 GPU DePIN 降低 GPU 使用成本

GPU DePIN 聚合了未充分利用的 GPU 計算能力(其中最可靠的來自數據中心),並使其可用於 AI 推理。類比該問題的簡單方法是「 GPU 中的 Airbnb 」。

我們對 GPU DePIN 感到興奮的原因是,如上所述, NVIDIA 芯片短缺,而且目前有浪費的 GPU 週期可用於 AI 推理。這些硬件所有者付出沉沒成本,並且目前沒有充分利用設備,因此與現狀相比,可以以低得多的成本提供這些部分 GPU ,因為這實際上為硬件所有者「找到了錢」。

示例包括:

  • AWS 機器。如果你今天要從 AWS 租用 H100 ,則必須承諾為期 1 年的租賃,因為市場供應有限。這會產生浪費,因為你可能不會每年 365 天、每週 7 天都使用 GPU 。
  • Filecoin 挖礦硬件。 Filecoin 有大量補貼供應但沒有大量實際需求。 Filecoin 從未找到真正產品市場契合點,因此 Filecoin 礦工面臨倒閉的風險。這些機器配備 GPU ,可以重新用於低端 AI 推理任務。
  • ETH 挖礦硬件。當以太坊從 PoW 過渡到 PoS 時,這就快速釋放了大量硬件,可以重新用於 AI 推斷。

注意,並非所有 GPU 硬件都適合 AI 推理。造成這種情況的一個明顯原因是,較舊的 GPU 沒有 LLMs 所需的 GPU 內存量,儘管已經有一些有趣的創新可以在這方面提供幫助。例如, Exabits 的技術可以將活動神經元加載到 GPU 內存中,將不活動神經元加載到 CPU 內存中。他們預測哪些神經元需要活躍 / 不活躍。這使得低端 GPU 能夠處理 AI 工作負載,即使 GPU 內存有限。這有效地使低端 GPU 對於 AI 推理更加有用。

Web3 AI DePINs 需隨著時間的推移發展其產品,並提供企業級服務,例如單點登錄、 SOC 2 合規性、服務級協議( SLA )等。這類似於當前雲服務提供商為 Web2 客戶提供的服務。

真正好處#3:抗審查的模型以避免 OpenAI 自我審查

關於 AI 審查制度的討論很多。例如土耳其暫時禁止了 Open AI (後來 Open AI 提高了合規性,他們就改變了做法)。我們認為國家級的審查制度是無趣的,因為各國需要採用 AI 來保持競爭力。

Open AI 也會進行自我審查。例如, Open AI 不會處理 NSFW 內容。 Open AI 也不會預測下一次總統選舉。我們認為 AI 用例不僅有趣,而且市場巨大,但 Open AI 出於政治原因不會觸及該市場。

開源是個很好的解決方案,因為 Github 存儲庫不受股東或董事會的影響。 Venice . ai 就是一例,它承諾保護隱私並以抗審查的方式運營。 Web3 AI 可以有效地提升其水平,即在成本較低的 GPU 集群上為這些開源軟件 ( OSS ) 模型提供支持,以執行推理。正是由於這些原因,我們相信 OSS + Web3 為抗審查的 AI 鋪平道路的理想組合。

真正好處#4:避免向 OpenAI 發送個人身份信息

大型企業對其內部數據存在隱私擔憂。對於這些客戶來說,信任 OpenAI 第三方擁有這些數據可能很難。

Web3 中,對這些企業來說,他們的內部數據突然出現在去中心化網絡上,可能看起來更加令人擔憂(表面上)。然而,針對 AI 的隱私增強技術中存在創新:

可信執行環境( TEE ),例如 Super Protocol

全同態加密 ( FHE ),例如 Fhenix . io ( Hack VC 管理的基金的投資組合公司)或 Inco Network (均由 Zama . ai 提供支持),以及 Bagel 的 PPML

這些技術仍在不斷發展,並且通過即將推出的零知識 ( ZK ) 和 FHE ASIC ,性能仍在不斷提高。但長期目標是在微調模型時保護企業數據。隨著這些協議的出現, Web3 可能會成為隱私保護 AI 計算更具吸引力的場所。

真正好處#5:利用開源模型的最新創新

過去幾十年來,開源軟件一直在蠶食專有軟件的市場份額。我們將 LLM 视为某种专有软件形式,足以破坏 OSS 。值得注意的挑戰者例子包括 Llama 、 RWKV 和 Mistral . ai 。隨著時間的推移,這個列表無疑會不斷增長(更全面的列表可以在 Openrouter . ai 上找到)。通過利用 Web3 AI (由 OSS 模型提供支持),人們可以利用這些新的創新來創新。

我們相信,隨著時間的推移,開源的全球開發隊伍與加密貨幣激勵措施相結合,可以推動開源模型以及建立在其之上的代理和框架的快速創新。 AI 代理協議的一個例子是 Theoriq 。 Theoriq 利用 OSS 模型創建一個可組合的 AI 代理互連網絡,可以將其組裝起來創建更高級別的 AI 解決方案。

我們之所以對此充滿信心,是因為過去,隨著時間的推移,大多數「開發者軟件」的創新慢慢被 OSS 超越。微軟曾經是一家專有軟件公司,現在他們是為 Github 做出貢獻的排名第一的公司。這是有原因的,如果你看看 Databricks 、 PostGresSQL 、 MongoDB 和其他公司如何顛覆專有數據庫,那就是 OSS 顛覆整個行業的一個例子,所以這裡的先例非常有說服力。

然而,這其中也有一個問題。開源大型語言模型( OSS LLMs )的一个棘手之处在于, OpenAI 已经开始与一些组织(如 Reddit 和《纽约时报》)签订付费数据许可协议。如果这一趋势继续下去,开源大型语言模型可能会因为获取数据的财务障碍而更难以竞争。 Nvidia 可能会进一步加强对保密计算的投入,以作为安全数据共享的助力。时间将揭示这一切的发展。

真正好處#6:通過高削減成本的隨機抽樣或通過 ZK 證明達成共識

Web3 AI 推理的挑戰之一是驗證。假設驗證者有機會欺騙他們的結果來賺取費用,因此驗證推論是一項重要措施。請注意,這種作弊行為實際上尚未發生,因為 AI 推理還處於起步階段,但除非採取措施抑制這種行為,否則這是不可避免的。

標準的 Web3 方法是讓多個驗證器重複相同的操作並比較結果。如前所述,這一問題面臨的突出挑戰是,由於目前高端 Nvidia 芯片的短缺, AI 推理的成本非常昂貴。鑑於 Web3 可以通過未充分利用的 GPU DePIN 提供更低成本的推理,冗餘計算將嚴重削弱 Web3 的價值主張。

更有前途的解決方案是為鏈下 AI 推理計算執行 ZK 證明。在這種情況下,可以驗證簡潔的 ZK 證明,以確定模型是否經過正確訓練,或者推理是否正確運行(稱為 zkML )。例子包括 Modulus Labs 和 ZK onduit。由於 ZK 操作是計算密集型的,因此這些解決方案的性能仍處於初級階段。不過,我們預計隨著 ZK 硬件 ASIC 在不久的將來發布,情況會得到改善。

更有希望的是一種,有點「 Optimistic 」基於採樣的 AI 推理方法設想。在這個模型中,只需驗證驗證者生成結果的一小部分即可,但將大幅削減的經濟成本設置得足夠高,這樣如果被發現,就會對驗證者的作弊產生強大的經濟抑制作用。通過這種方式,你可以節省冗餘計算。

另一個有前途的設想是水印和指紋解決方案,例如 Bagel Network 提出的解決方案。這類似於 Amazon Alexa 為其數百萬台設備提供設備內 AI 模型質量保證的機制。

真正好處#7:通過 OSS 節省費用( OpenAI 的利潤)

Web3 為 AI 帶來的下一個機會是成本民主化。到目前為止,我們已經討論了通過 DePIN 節省 GPU 成本。但 Web3 還提供了節省中心化 Web2 AI 服務利潤率的機會(例如 Open AI ,截至撰寫本文時,其年收入超過 10 億美元)。這些成本節省來自於這樣一個事實:使用 OSS 模型而不是專有模型來實現額外的節省,因為模型創建者並不試圖盈利。

許多 OSS 模型將保持完全免費,從而為客戶帶來最佳的經濟效益。但可能也有些 OSS 模型也在嘗試這些貨幣化方法。考慮一下 Hugging Face 上所有模型中只有 4% 是由有預算來幫助補貼模型的公司訓練的。其餘 96% 的模型由社區訓練。這個群體(96% 的 Hugging Face )具有基本的實際成本(包括計算成本和數據成本)。因此,這些模型將需要以某種方式貨幣化。

有一些提議可以實現開源軟件模型的貨幣化。其中最有趣的之一是「初始模型發行」的概念,即將模型本身進行代幣化,保留一部分代幣給團隊,將模型未來的一些收入流向代幣持有者,儘管在這方面肯定存在一些法律和監管障礙。

其他 OSS 模型將嘗試通過使用來貨幣化。請注意,如果這成為現實, OSS 模型可能會開始越來越類似於其 Web2 盈利模型。但實際上,市場將分為兩部分,一些模型仍然完全免費。

真正好處#8:去中心化的數據源

AI 面臨的最大挑戰之一是尋找正確的數據來訓練模型。我們之前提到去中心化 AI 訓練有其挑戰。但是使用去中心化網絡來獲取數據怎麼樣(然後可以將其用於其他地方的訓練,甚至在傳統的 Web2 場所)?

這正是像 Grass 這樣的初創公司正在做的事情。 Grass 是一個由「數據抓取者」組成的去中心化網絡,這些人將機器的閒置處理能力貢獻給數據源,為 AI 模型的訓練提供信息。假設,從規模上看,由於大型激勵節點網絡的強大力量,這種數據源可以優於任何一家公司的內部數據源工作。這不僅包括獲取更多數據,還包括更頻繁地獲取數據,以使數據更加相關和最新。事實上,阻止去中心化的數據抓取大軍也是不可能的,因為它們本質上是去中心化的,並且不駐留在單個 IP 地址內。他們還有個可以清理和標準化數據的網絡,以便數據在被抓取後有用。

獲得數據後,你還需要位置將其存儲在鏈上,以及使用該數據生成的 LLMs 。

注意,未來數據在 Web3 AI 中的作用可能會發生變化。如今, LLM s 的現狀是使用數據預訓練模型,並隨著時間的推移使用更多數據對其進行完善。 然而,由於互聯網上的數據是實時變化的,這些模型總是有點過時。 因此, LLM 推斷的響應稍微不準確。

未來的發展方向可能是一種新範式------「實時」數據。這個概念是,當一個大型語言模型( LLM )被問到推理問題時, LLM 可以通過提示傳輸並注入數據,而這些數據是實時從互聯網重收集的。這樣, LLM 可以使用最新的數據。 Grass 就在研究這部分內容。

特別致謝以下人士對本文的反饋和幫助: Albert Castellana 、 Jasper Zhang 、 Vassilis Tziokas 、 Bidhan Roy 、 Rezo , Vincent Weisser 、 Shashank Yadav 、 Ali Husain 、 Nukri Basharuli 、 Emad Mostaque 、 David Minarsch 、 Tommy Shaughnessy 、 Michael Heinrich 、 Keccak Wong 、 Marc Weinstein 、 Phillip Bonello 、 Jeff Amico 、 Ejaaz Ahamadeen 、 Evan Feng 、 JW Wang 。

鏈捕手ChainCatcher提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場信息或相關方觀點,不構成任何形式投資建議。如發現站內內容含敏感信息,可點擊“舉報”,我們會及時處理。
ChainCatcher 與創新者共建Web3世界