對話 Gensyn 創始人：利用去中心化網絡最大化利用閒置計算資源，助力機器學習

視頻鏈接：《Ben Fielding \& Harry Grieve: Gensyn -- The Deep Learning Compute Protocol》

主持人： Dr . Friederike Ernst ， Epicenter 播客

主講人： Ben Fielding \& Harry Grieve ， Gensyn 聯合創始人

整理 \& 編譯： Sunny ，深潮 TechFlow

區塊鏈 AI 計算協議 Gensyn 於 6 月 12 日宣布完成了由 a16z 領投的 4,300 萬美元 A 輪融資。

Gensyn 的使命是為用戶提供與擁有私有計算集群相等的計算規模訪問權限，並且至關重要的是實現公平的訪問，避免受到任何中央實體的控制或關閉。同時， Gensyn 是一種專注於訓練機器學習模型的去中心化計算協議。

回顧去年底 Gensyn 創始人 Harry 和 Ben 與 Epicenter 的播客可以發現其深入探討計算資源調查，包括 AWS 、本地基礎設施和雲基礎設施，以了解如何優化和利用這些資源來支持 AI 應用的發展。

同時，他們也詳細探討 Gensyn 的設計理念、目標和市場定位，以及在設計過程中所面臨的各種約束、假設和執行策略。

播客中介紹 Gensyn 鏈下網絡中的四個主要角色，探索 Gensyn 鏈上網絡的特點，以及 Gensyn 代幣和治理的重要性。

此外， Ben 和 Harry 也分享了一些有趣的 AI 科普，讓大家更深入地了解人工智能的基本原理和應用。

區塊鏈作為去中心化 AI 基礎設施的信任層

主持人詢問了 Ben 和 Harry 為什麼將他們在 AI 和深度學習的豐富經驗與區塊鏈結合在一起？

Ben 表示，他們的決定並不是一蹴而就的，而是經過一段相對長的時間。 Gensyn 的目標是建立大規模的 AI 基礎設施，在研究如何實現最大規模的擴展性時，他們意識到需要一個無需信任層。

他們需要能夠整合計算能力，而不依賴於集中式的新供應商接入，否則就會遇到行政擴張的限制。為了解決這個問題，他們開始探索可驗證計算研究，但他們發現這始終需要一個被信任的第三方或法官來檢查計算。

這個限制導致他們走向了區塊鏈。區塊鏈為打破需要單一決策者或仲裁者的需要提供了一種方式，因為它能夠實現大群體之間的共識。

Harry 也分享了他的理念，他和 Ben 強烈地支持自由言論，對審查制度感到擔憂。

在他們轉向區塊鏈之前，他們正在研究聯邦學習，這是一個你在分佈式數據源上訓練多個模型，然後將它們組合在一起創建一個可以從所有數據源學習的元模型的深度學習領域。他們與銀行合作進行這種方法。然而，他們很快就意識到，更大的問題是獲取可以訓練這些模型的計算資源或處理器。

為了最大化整合計算資源，他們需要一個去中心化的協調方式，這就是區塊鏈的用武之地。

市場計算資源調查： AWS ，本地基礎設施和雲基礎設施

Harry 解釋了運行 AI 模型的不同計算資源選擇，取決於模型規模。

學生可能會使用 AWS 或本地機器，初創公司可能會選擇按需的 AWS 或預定的更便宜的選項。

但對於大規模的 GPU 需求， AWS 可能受到成本和可擴展性的限制，通常會選擇建立內部基礎設施。

研究顯示，許多組織正努力擴大規模，有些甚至選擇購買並自行管理 GPU 。總的來說，購買 GPU 長期來看比在 AWS 運行更划算。

機器學習計算資源的選擇包括雲計算、本地運行 AI 模型，或建立自己的計算集群。 Gensyn 的目標是提供等同於擁有自有集群的計算規模的訪問權限，而且關鍵是要實現公平的訪問，這不能被任何中央實體控制或關閉。

表格一：目前市場上所有的計算資源選擇

對 Gensyn 設計理念、目標和市場定位的探討

主持人問到 Gensyn 與以前的區塊鏈計算項目，比如 Golem Network ，有什麼不同。

Harry 解釋說， Gensyn 的設計理念主要沿著兩個軸線進行考慮：

1. 協議的精細程度：與 Golem 這樣的通用計算協議不同， Gensyn 是一種專注於訓練機器學習模型的精細協議。
2. 驗證的可擴展性：早期的項目通常依賴於聲譽或者較不容忍拜占庭故障的複製方式，這對於機器學習的結果並沒有足夠的信心。 Gensyn 的目標是利用加密世界中的計算協議的學習經驗，並將其特別應用於機器學習，以優化速度和成本，同時確保滿意的驗證水平。

Harry 補充說，當考慮網絡必須具備的性質時，它需要針對機器學習工程師和研究人員。它需要有驗證部分，但關鍵是在允許任何人參與的方面，它需要既能抵抗審查，又對硬件保持中立。

設計過程中的約束，假設和執行

在 Gensyn 的平台設計過程中， Ben 強調了對系統約束和假設的重視。他們的目標是創造一個能夠將整個世界轉化為 AI 超級計算機的網絡，為此，他們需要在產品假設、研究假設和技術假設之間尋找平衡。

對於為什麼將 Gensyn 建設為自己的第一層區塊鏈，他們的理由是為了在共識機制等關鍵技術領域保持更大的靈活性和決策自由。他們希望能夠未來證明他們的協議，不想在項目的早期階段就施加不必要的限制。此外，他們相信在未來，各個鏈條將能夠通過一種廣泛接受的信息協議進行互動，因此他們的決定也符合這一願景。

圖表二：產品假設、研究假設和技術假設，限制和執行

Gensyn 鏈下網絡中的四個主要角色

在這次 Gensyn 經濟討論中，介紹了四個主要角色：提交者，工作者，驗證者和舉報者。提交者可以向 Gensyn 網絡提交各種問題，包括生成特定圖像或開發可以駕駛汽車的 AI 模型等。

提交者 （ Submitter ）提交任務

Harry 解釋了如何使用 Gensyn 來訓練模型。用戶首先定義期望的結果，例如根據文本提示生成圖像，然後構建一個模型，該模型以文本提示為輸入並生成相應的圖像。訓練數據對於模型的學習和改進至關重要。準備好模型架構和訓練數據後，用戶會將他們與諸如學習率計劃和訓練持續時間等超參數一起提交給 Gensyn 網絡。這個訓練過程的結果就是已訓練的模型，用戶可以托管並使用該模型。

當被問及如何選擇未經訓練的模型時， Harry 提出了兩種方法。

• 第一種是基於當前流行的基礎模型概念，其中大公司如 OpenAI 或 Midjourney 會構建基礎模型，然後用戶可以對該基礎模型進行特定數據訓練。
• 第二種選擇是從零開始構建模型，與基礎模型方法不同。

在 Gensyn 中，開發者可以使用類似於進化優化的方法提交各種架構，以便進行訓練和測試，並不斷優化以構建期望的模型。

Ben 從他們的角度提供了對基礎模型的深入觀點，他們認為這是該領域的未來。

Gensyn 作為一個協議，我們希望它能被實現進化優化技術或類似方法的 DApps 所使用。這些 DApps 可以將個別的架構提交給 Gensyn 協議進行訓練和測試，通過迭代精煉來構建理想的模型。

Gensyn 的目標是提供純粹的機器學習計算基礎，鼓勵圍繞它開發生態系統。

雖然預訓練模型可能會引入偏見，因為組織可能使用專有數據集或隱瞞訓練過程的信息，但 Gensyn 的解決方案是開放訓練過程，而不是消除黑盒子或依賴全確定性。通過集體設計和訓練基礎模型，我們可以創建全球模型，而不會受到任何特定公司數據集的偏見。

工作者（ Solver )

對於任務分配，一個任務對應一個伺服器。但一個模型可能會被拆分成多個任務。

大型語言模型在設計時會充分利用當時可用的最大硬件容量。這個概念可以擴展到網絡，考慮設備的異質性。

對於特定的任務，如驗證者或工作者，可以選擇從 Mempool 中接手。從那些表示願意接手該任務的人中，會隨機選擇一名工作者。如果模型和數據不能適應特定的設備，但設備的所有者聲稱可以，可能會因系統擁塞導致罰款。

一個任務是否可以在一台機器上運行，是由一個可以驗證的隨機函數決定的，該函數從可用的工作者子集中選擇一個工作者。

關於驗證工作者能力的問題，如果工作者沒有聲稱的計算能力，他們將無法完成計算任務，這將在提交證明時被檢測到。

但是，任務的大小是一個問題。如果任務設置得過大，可能會導致系統問題，比如拒絕服務攻擊（ DoS ），其中工作者聲稱要完成任務，但永遠不完成，浪費時間和資源。

因此，任務大小的決定至關重要，需要考慮到並行化和優化任務結構等因素。研究人員正在積極研究和探索基於各種約束條件的最佳方法。

一旦啟動測試網，還將考慮實際情況，觀察系統在現實世界中的運行情況。

定義完美的任務大小是具有挑戰性的， Gensyn 已經準備好根據現實世界的反饋和經驗進行調整和改進。

在鏈上進行大規模計算的驗證機制和檢查點 ( Checkpoints )

Harry 和 Ben 表明驗證計算的正確性是一個重要的挑戰，因為它不像哈希函數那樣具有確定性，所以無法簡單地通過哈希驗證來確定是否進行了計算。為了解決這個問題，理想方案是利用對整個計算過程進行零知識證明的應用。目前， Gensyn 還在努力實現這種能力。

目前， Gensyn 介紹了使用檢查點的混合方法，通過概率機制和檢查點來驗證機器學習計算。通過結合隨機審計方案和梯度空間路徑，可以建立一個相對穩健的檢查。此外，還引入了零知識證明來增強驗證過程，並在模型的全局損失上進行了應用。

驗證者（ Verifier ）和舉報者（ Whistleblower ）

主持人和 Harry 討論了在驗證過程中涉及的兩個額外角色：驗證者（ Verifier ）和舉報者（ whistleblower ）。他們詳細說明了這兩個角色的具體職責和作用。

驗證者的任務是確保檢查點的正確性，而舉報者的任務是確保驗證者履行其職責的準確性。舉報者解決了驗證者的困境問題，確保驗證者的工作是正確的和可信任的。驗證者故意在工作中引入錯誤，舉報者的角色是識別和揭示這些錯誤，從而確保驗證過程的完整性。

驗證者故意引入錯誤以測試舉報者的警覺性，並確保系統的有效性。如果工作有錯誤，驗證者會檢測到錯誤並通知舉報者。錯誤隨後記錄在區塊鏈上，並在鏈上進行驗證。定期地，並且以與系統安全性相關的速率，驗證者有意引入錯誤以保持舉報者的參與度。如果舉報者發現問題，他們會參與到一個稱為「 pinpoint protocol 」的遊戲中，通過它他們可以將計算縮小到神經網絡的特定區域的默克爾樹中的一個具體點。然後，這些信息會提交給鏈上進行仲裁。這是驗證者和舉報者過程的簡化版本，他們將在種子輪結束後進行了進一步的開發和研究。

Gensyn 鏈上網絡

Ben 和 Harry 詳細討論了 Gensyn 協調協議在鏈上的工作方式和實施細節。他們首先提到了構建網絡區塊的過程，其中涉及到質押代幣作為該質押網絡的一部分。然後，他們解釋了這些組成部分與 Gensyn 協議的關係。

Ben 解釋說， Gensyn 協議在很大程度上是一個基於 vanilla substrate 波卡網絡協議。他們採用了基於權益證明的 Grandpa Babe 共識機制，驗證者以通常的方式操作。然而，之前介紹的所有機器學習組件都是在鏈下進行的，涉及到各種鏈下參與者執行各自的任務。

這些參與者通過質押來獲得激勵，可以通過 Substrate 中的質押板塊或通過在智能合約中提交特定數量的代幣進行質押。當他們的工作最終得到驗證時，他們將獲得獎勵。

Ben 和 Harry 提到的挑戰在於確保質押金額、可能的減持金額和獎勵金額之間的平衡，以防止出現懶惰或惡意行為的激勵。

此外，他們還討論了增加舉報者會帶來的複雜性，但由於規模化計算的需求，他們的存在對於確保驗證者的誠實性至關重要。雖然他們不斷探索通過零知識證明技術可能消除舉報者的方法。他們表示，目前的系統與 lite paper 中描述的相符，但他們正在積極努力簡化每個方面。

主持人問及他們是否有某種數據可用性的解決方案， Henry 解釋說他們在 substrate 之上引入了一個名為 pro of of availability （ POA ）的層。該層利用糾刪碼等技術來解決他們在廣泛的存儲層市場上遇到的限制。他們表示會對已經實施了這樣解決方案的開發者非常感興趣。

Ben 補充說，他們的需求不僅僅涉及到存儲訓練數據，還包括中間證明數據，這些數據不需要長期存儲。例如，在他們完成特定數量的區塊發布時，可能只需要保留大約 20 秒。然而，目前他們在 Arweave 上支付的存儲費用是覆蓋數百年的範圍，對於這些短期需求來說是不必要的。他們正在尋找一種既具備 Arweave 的保證和功能，又能以更低的成本滿足短期存儲需求的解決方案。

Gensyn 代幣和治理

Ben 解釋了 gensyn token 在生態系統中的重要性，它在抵押、懲罰、提供獎勵和維護共識等方面起着關鍵作用。它的主要目的是確保系統的財務合理性和完整性。 Ben 還提到了謹慎使用通脹率來支付驗證者，並利用博弈論機制。

他強調了 Gensyn token 的純粹技術用途，並表示他們會在技術上確保引入 Gensyn token 的時機和必要性。

Harry 表示他們在深度學習社區中屬於少數派，特別是 AI 學者對加密貨幣相關的廣泛懷疑之下。儘管如此，他們意識到了加密貨幣的技術和意識形態方面的價值。

然而，在網絡啟動時，他們預計大多數深度學習用戶主要會使用法定貨幣進行交易，而轉換為代幣將在幕後無縫進行。

在供應方面，工作者和提交者將積極參與代幣交易，並且他們已經收到了來自以太坊礦工的興趣，這些礦工擁有大量的 GPU 資源並尋求新的機會。

在此，重要的是確保消除深度學習和機器學習從業者對加密貨幣術語（如代幣）的恐懼，將其與用戶體驗的界面分離。 Gensyn 表示這是一個令人興奮的用例，將 Web 2 和 Web 3 的世界聯繫在一起，因為它具有經濟合理性和支持其存在所需的技術。

圖一：基於播客整理的 Gensyn 鏈上鏈下網絡的運行模式，運作機理若有錯誤，請讀者及時提出 （圖片來源：深潮）

科普人工智能

AI 、深度學習和機器學習

Ben 分享了他對近年來 AI 領域的發展的看法。他認為，儘管 AI 和機器學習領域在過去七年裡經歷了一系列的小爆發，但目前的進步似乎正在創造真正的影響和有價值的應用，這些應用能與更廣泛的聽眾產生共鳴。深度學習是這些變化的基本驅動力。深度神經網絡展示了其超越傳統計算機視覺方法設定的基準的能力。此外，如 GPT -3 等模型也加速了這一進步。

Harry 進一步解釋了 AI 、機器學習和深度學習之間的區別。他認為，這三個術語經常被混用，但它們有顯著的差異。他比喻說， AI 、機器學習和深度學習就像俄羅斯套娃一樣， AI 是最外層。

• 寬義上講， AI 是指編程讓機器執行任務。
• 機器學習則是在 90 年代和 2000 年初開始盛行，它利用數據來確定決策的概率，而不是依賴於具有 if - then 規則的專家系統。
• 深度學習在機器學習基礎上建立，但允許更複雜的模型。

圖表三：人工智能，機器學習，和深度學習的區別

人工狹義智能，人工通用智能，人工超級智能

在這個部分中，主持人和嘉賓對人工智能的三個關鍵領域進行了深入探討：人工狹義智能（ ANI ），人工通用智能（ AGI ），和人工超級智能（ ASI ）。

• 人工狹義智能（ Artificial Narrow Intelligence ， ANI ）：當前的人工智能主要處在這個階段，即機器非常擅長執行特定的任務，例如，通過模式識別從醫學掃描中檢測特定類型的癌症。
• 人工通用智能（ Artificial General Intelligence ， AGI ）： AGI 是指機器能夠執行對人類來說相對簡單，但在計算系統中反映出來卻很具挑戰性的任務。舉例來說，讓機器能夠在擁擠的環境中順利導航，同時對周圍所有的輸入進行離散假設，這就是 AGI 的一個示例。 AGI 是指模型或系統能夠像人類一樣執行日常任務。
• 人工超級智能（ Artificial Super Intelligence ， ASI ）：在達到人工通用智能之後，機器可能會進一步發展為人工超級智能。這是指機器由於其模型的複雜性，增加的計算能力，無限的壽命和完美的記憶，從而超越人類的能力。這個概念經常在科幻和恐怖電影中被探索。

此外，嘉賓還提到，人腦與機器的融合，例如通過腦 - 機接口，可能是實現 AGI 的一條途徑，但這也引發了一系列的道德和倫理問題。

解開深度學習黑盒：確定性與概率性

Ben 解釋說，深度學習模型的黑盒性質歸因於它們的絕對大小。你仍然在通過網絡中一系列決策點跟蹤路徑。只不過這個路徑非常大，很難將模型內的權重或參數與它們的具體值相連，因為這些值是在輸入了數百萬個樣本後得出的。你可以確定地做到這一點，你可以跟蹤每一個更新，但你最終生成的數據量將會非常大。

他看到有兩件事情發生：

隨著我們對正在構建的模型的理解越來越多，黑盒的本質正在逐漸消失。深度學習是一個研究領域，經歷了一個有趣的快速時期，進行了大量的實驗，這些實驗並不是由研究的基礎驅動的。而是更多的看看我們能從中得到什麼。因此，我們向其投入更多的數據，嘗試新的架構，只是看看會發生什麼，而不是從基本原理出發，設計這個東西，並確切地知道它是如何運作的。所以有這樣一個激動人心的時期，一切都是黑盒。但他認為這種快速增長正在開始放緩，我們正在看到人們重新審視這些架構，並檢查並說，「為什麼這個效果這麼好？我們深入研究一下，證明一下。」所以在某種程度上，這種帷幕正在揭開。

另一件發生的事情可能更具爭議，那就是人們對計算系統是否需要完全確定，還是我們可以生活在一個概率世界中的觀點的轉變。我們作為人類生活在一個概率世界中。自動駕駛汽車的例子可能最清楚，當我們開車時，我們接受會發生隨機事件，可能會有小事故，可能會有自動駕駛汽車系統出現問題。但是我們完全不能接受這一點，我們說這必須是一個完全確定的過程。自動駕駛汽車行業的挑戰之一就是，他們假設人們會接受應用於自動駕駛汽車的概率機制，但實際上人們並沒有接受。他認為這種情況會改變，可能會有爭議的是，我們作為一個社會，是否會允許概率計算系統與我們共存？他不確定這條路是否會順利，但他認為這會發生。

梯度優化法：深度學習的核心優化方法

梯度優化是深度學習的核心方法之一，它在神經網絡訓練中起到了關鍵作用。在神經網絡中，一系列層參數實質上就是實數。網絡訓練涉及的是將這些參數設定為可以讓數據正確傳遞並在網絡的最後階段觸發期望輸出的實際值。

基於梯度的優化方法在神經網絡和深度學習領域中帶來了巨大的變革。這個方法使用梯度，也就是對網絡中各層參數相對於誤差的微分。通過應用鏈式法則，可以將梯度在整個層級網絡中反向傳播。在這個過程中，你可以確定你在誤差表面的位置。誤差可以被模型化為歐氏空間中的一個表面，這個表面看起來是一個充滿高低起伏的區域。優化的目標就是找到能夠使誤差最小化的區域。

梯度對於每一層都顯示你在這個表面上的位置以及你應該更新參數的方向。你可以利用梯度在這個起伏的表面上導航，找到能夠減少誤差的方向。步長的大小取決於表面的傾斜程度。如果傾斜得厲害，你就會跳得更遠；如果傾斜度不大，你就會跳得更小。本質上，你只是在這個表面上導航，尋找一個凹槽，而梯度可以幫助你確定位置和方向。

這個方法是一個巨大的突破，因為梯度提供了一個清晰的信號和有用的方向，相比於在參數空間中隨機跳躍，它能夠更有效地指導你知道你在表面的哪個位置，以及你是在山頂上，還是在溝壑中，或者在平坦的區域。

儘管深度學習中存在許多技術可以解決找到最優解的問題，但現實世界中的情況通常更為複雜。有許多在深度學習訓練中使用的正則化技術使之成為一門藝術而非科學。而這就是為什麼基於梯度的優化在現實中的應用更像藝術而非精確的科學。

圖二：簡單來說優化目標就是找到谷底的（圖片來源：深潮）

總結

Gensyn 的目標是在構建全球最大的機器學習計算資源系統，可以充分利用那些被閒置或者未充分使用的計算資源，如個人的智能手機、電腦等設備。

在機器學習和區塊鏈的語境下，賬本保存的記錄通常是計算結果，也就是我們已經通過機器學習處理過的數據狀態。這個狀態可以是：「這波數據我已經機器學習了，有效，發生時間為 X 年 X 月」。這個記錄的主要目標是表達結果狀態，而不是詳述計算過程。

而在這個框架中，區塊鏈有著重要的作用：

• 區塊鏈提供了一種記錄數據狀態結果的方式。它的設計可以確保數據的真實性，防止篡改和抵賴。
• 區塊鏈內部有著經濟激勵機制，通過它可以協調計算網絡中不同角色的行為，例如提到的四個角色：提交者，工作者，驗證者和舉報者。
• 通過對當前雲計算市場的調查，我們發現雲計算並非全無可取，而是各種計算方式都有其特定的問題。區塊鏈的去中心化計算方式可以在一些場景中發揮作用，但並不能全面替代傳統的雲計算，也就是說，區塊鏈並不是萬能的解決方案。
• 最後， AI 可以看作是一種生產力，然而，如何有效地組織和訓練 AI 則屬於生產關係的範疇。這包括合作、眾包和激勵等因素。在這方面， Web 3.0 提供了大量可能的解決方案和場景。

因此，我們可以理解為，區塊鏈與 AI 的結合，特別是在數據和模型的共享、計算資源的協調和結果的驗證等方面，為解決 AI 的訓練和使用過程中的一些問題提供了新的可能性。

引用 1.https://docs.gensyn.ai/litepaper/ 2.https://a16zcrypto.com/posts/announcement/investing-in-gensyn/