去中心化儲存概念、實操和前景

作者：PermaDAO

去中心化存儲是一種數據存儲方法，不依賴單一中央控制點。這種方式與傳統的中心化存儲（如傳統的雲存儲服務，比如 Amazon S3 或 Google Cloud ）形成對比，後者通常由單一的企業或組織進行管理。

主流去中心化存儲

目前市面上主流的去中心化存儲有 Arweave、Filecoin、Storj。它們各自有獨特的特點和設計理念：

• Arweave 專注於長期或永久性數據存儲。
• Filecoin 提供類似傳統雲存儲的去中心化市場，支持靈活的存儲需求。
• Storj 側重於提供安全和隱私保護的去中心化雲存儲服務。

這三個平台都使用了區塊鏈技術，但它們的應用場景、技術實現和支付模型有所不同，各自適合於不同類型的存儲需求：

1. Arweave

• 目標：提供一種長期的、永久性的数据存儲解決方案。Arweave的目標是存儲數據直到"永遠"，主要用於長期數據保存。
• 技術：使用一種獨特的區塊鏈技術，名為"塊織物"（Blockweave）。與傳統區塊鏈不同，塊織物在每個新塊中包含對早期隨機塊的引用，這樣設計旨在鼓勵數據的長期保存。
• 支付模型：用戶為數據存儲支付一次性費用，數據被存儲後理論上可以永久訪問。

2. Filecoin

• 目標：旨在創建一個去中心化的存儲市場，類似於傳統的雲存儲服務。
• 技術：Filecoin是IPFS（互聯網文件系統）的激勵層。它使用"存儲證明"和"時空證明"來確保數據正確存儲。
• 支付模型：用戶根據存儲的數據量和時間向存儲提供者支付費用。這是一種更傳統的租賃模式，用戶可以根據需要增加或減少存儲，並相應地支付費用。

2. Storj

• 目標：為用戶提供一個去中心化的雲存儲解決方案，重點在於安全性和隱私保護。
• 技術：Storj使用加密和分片技術來保護數據的安全和隱私。數據在上傳前在客戶端被加密和分割成多個小塊，然後分布式存儲在全球範圍內的節點上。
• 支付模型：Storj的支付模型類似於傳統雲存儲，基於使用的存儲空間和帶寬計費。

對比之下，Arweave 獨樹一幟，其所強調的永久存儲，更加注重數據的抗審查和持久性。Filecoin 和 Storj 都是用了存儲市場，注重使用區塊鏈技術重構存儲市場。

業務架構解析

Arweave 進行數據永久存儲的理論基礎類似"摩爾定律"。根據對 1980 年至今的數據存儲成本統計結果，存儲成本每年在以 20% 的速率下降。按照該統計規律，無窮多年之後數據存儲的成本會收斂為一個常數。Arweave 永存則是以此為基礎，計算了數據 200 年的存儲成本。用戶進行數據存儲時將一次性支付這筆費用。

同時，Arweave 設計了一個非常優雅簡潔的數據挖礦機制。我們可以把它命名為"有效數據挖礦"。

所謂"有效數據"是指過去已經存儲在 Arweave 網絡中的數據，用戶為這些有效數據支付了 200 年的存儲費用。網絡中另一個角色群體------礦工，他們是用有效數據進行挖礦，並提供了有效數據的讀取服務。與其他存儲區塊鏈不同之處在於，Arweave 不強制礦工存儲數據，而是建立了激勵規則鼓勵每個礦工最大化的去存儲"有效數據"。在 Arweave 網絡裡，礦工存儲的"有效數據"越多，挖礦的"算力"就越大。

假設 Arweave 網絡中有 100 TB 的有效數據，對於礦工而言不是必選存儲所有 100 TB 的數據。也就是說，礦工僅存儲 100 MB 的數據就可以挖礦，只是該礦工的算力非常的微小。如果礦工選擇存儲所有 100 TB 的數據，他所具備的算力將達到最大值。

在"有效數據挖礦"的機制中，Arweave 網絡激勵礦工盡可能的去存儲最多的數據，但不強制他們去進行所有數據的存儲。那麼該激勵模式，數據是否存在丟失的可能性？下面是一個關於數據丟失的模擬演算：

其中第一行和第二行的 0.5 指的是單個節點存儲了 50% 的數據。假設該區塊網絡有 20 萬個區塊，網絡中有 200 個節點，每個節點都隨機的存儲了 10 萬個區塊（50% 的區塊數據），可根據概率計算出單個區塊不可訪問的概率為 6.223\^10-61。雲服務提供的數據可靠性為 99.9999999%，即 10 的 7 次方。上面的 Arweave 演算則達到了驚人的 61 次方。

Filecoin 和 Storj 兩者都是用區塊鏈技術建立了一個數據存儲市場。其中 Storj 主要改進是數據隱私性。本文主要講解 Filecoin 的原理。

類似於傳統的訂單簿，用戶使用 Filecoin 需要先到交易市場進行出價掛單，並注明數據存儲的時間和備份數量，礦工會接收可以盈利的訂單。為了保障整個交易市場的公平性，Filecoin 建立了複雜的經濟模型，設置了罰沒和小額分期支付等多種規則。其核心技術是複製證明和時空證明。

複製證明：礦工向用戶證明數據已經被專用的物理設備進行了存儲。礦工每次進行證明存儲用戶的數據時，網絡將向該礦工支付費用。

時空證明：如果僅有複製證明，並不能保障你的數據一直被存儲，礦工可以僅在提交證明時存儲這部分數據。為此 Filecoin 補充了時空證明，目的就是讓礦工持續的存儲這些數據。

總結以上，Arweave 永存的依據和實現方案分別是：

• 永存的成本逐年降低
• 通過"有效數據挖礦"對礦工進行激勵，實現數據永存

Filecoin 和 Storj 是使用了區塊技術創造的去中心化存儲市場，他們的模式都類似於傳統的交易市場的訂單簿，由掛單人提供需求、礦工接受訂單進行數據存儲保障。Filecoin 的核心技術要點是：複製證明和時空證明。

存儲實操

將數據存儲到 Arweave 有兩種方式。第一種方式直接發送數據到 Arweave 節點，並支付 AR。第二種方式是使用 ANS-104（Bundled）數據綁定協議將數據批量打包到 Arweave。

直接存儲數據到 Arweave

用戶只需要準備一個持有 AR 到錢包即可完成該動作。使用下列代碼，將一個命名為 file.pdf 的存儲到 Arweave：

更多文檔參考：https://github.com/ArweaveTeam/arweave-js 。

使用 ANS-104 存儲數據到 Arweave（推薦）

Arweave 的區塊的出塊速率較低，通常為 2 分鐘左右，並且一個區塊只能處理 1000 筆交易，這極大的限制了 Arweave 存儲的交易筆數，儘管一筆 Arweave 交易的存儲量是無限的，用戶可以將 100 MB 甚至 10 GB 的數據通過一筆交易直接存儲到 Arweave。為了解決交易筆數的擴容問題，ANS-104 應運而生。

ANS-104 是一種多筆交易的綁定技術，可以一次性將數萬筆不同的數據實體綁定到一筆普通 Arweave 交易中。可以類比 Ethereum 到 Layer2 Rollup 解決方案，區別是 ANS-104 並不會損失數據的安全性，綁定的數據也是 100% 的完整數據存儲在 Arweave 上。

使用 ANS-104 存儲數據代碼示範如下：

該代碼使用了 arseeding 輕節點作為數據綁定服務，arseeding 輕節點是完全開源的 Arweave 數據節點，支持所有 Arweave 原生節點接口並拓展了 ANS-104 接口。同時 arseeding 集成了跨鏈支付協議 everPay，因此除了使用 AR 支付存儲費用之外，用戶和開發者也可以使用 ETH、BNB、USDT 和 USDC 等各種資產進行數據永存。

更多文檔參考：https://web3infra.dev/docs/Arseeding/guide/quickStart 。

存儲費用

目前 Arweave 上存儲 1 GB 數據為 $7.5，最新的存儲費用參考：https://ar-fees.arweave.dev/ 。

檢索和下載 Arweave 的數據

Arweave 擁有標準化的 GraphQL 服務接口，任何個人和機構都可以按照標準去實現 Arweave 索引。下面是兩個典型好用的索引網關：

• ArweaveNet 網關，索引最全。 https://arweave.net/graphql
• KNN3 網關，即時檢索 arseeding 節點數據，速度快。https://knn3-gateway.knn3.xyz/arseeding/graphql

下載 Arweave 數據，僅需要知道數據的 ARID 或者 ItemID 即可，代碼示例：

Filecoin 的存儲方法

很遺憾，Filecoin 沒有提供給普通用戶和開發者的存儲工具，對於普通開發者而言，Filecoin 是一個不可用的狀態。從零星的技術文檔可以找到一些通過第三方服務商進行 Filecoin 存儲的方案，但是仔細查看服務商的文檔，大多數服務商也僅僅提供了 IPFS 存儲，這些服務商不一定將數據存儲到了 Filecoin。可能由於筆者水平有限，實在找不到一個較好的途徑將數據存儲到 Filecoin，同時也沒有對應的接口可以直接從 Filecoin 獲取數據。

Storj 的存儲方法

Storj 的存儲方式和 Web2 一樣，開發者需要去官網註冊並獲取 API-KEY。Storj 的存儲兼容 AWS S3 接口，這裡就不再贅述。Storj 的存儲費用很低，1 GB 存儲 1 個月僅需 $0.004。不過折算為 200 年存儲費用會比 Arweave 稍高，為 $9.6。

存儲實操可以看出，Arweave 的交易處理模式和 Bitcoin/Ethereum 等區塊鏈是一致的。Filecoin 並沒有提供可用的 SDK 和接口，很遺憾所謂的存儲龍頭大哥竟然對於開發者是不可用狀態，不禁令人唏噓。Storj 的存儲方式和 Web2 完全一致。

值得注意的是，Arweave 是原生的區塊鏈存儲，數據一旦發送到 Arweave 之後是不可刪除和不可篡改。Filecoin 和 Storj 是租賃模式，項目方可以隨時停止存儲租賃服務，該模式下數據是不具備區塊鏈特性的，數據特性和存儲到中心化雲服務是一致的。

為了更清晰的區分 Arweave 和 Filecoin 等數據存儲的區別，我們可以把 Arweave 上的數據命名為"共識數據"，不論是 BTC 還是 Ethereum 上的數據，都屬於共識數據，這些數據都具備不可篡改和可追溯的特性。Filecoin 存儲租賃市場所存儲的數據不能稱為共識數據。

發展前景

去中心化存儲出現了兩個完全的不同的業務線。其中以 Arweave 為代表的業務線以共識數據為核心，強調數據去中心化、抗審查、可追溯等特性。以 Filecoin 為代表的業務線是以去中心化市場為核心，強調分配存儲資源和證明存儲成功。類比 DeFi 的發展，早期的 IDEX 用區塊鏈技術打造了訂單簿市場，訂單簿是非常傳統的業務模型，旨在用掛掉吃單的模式解決票券兌換。DeFi 的爆發是 Uniswap AMM 交易模型帶來的流動性挖礦技術，AMM 讓訂單完全自動化運營，實現了流動性的組合性，最終迎來了 DeFi Summer 大爆發。當前的去中心化存儲賽道裡，Filecoin 所代表的同樣是區塊鏈技術打造了訂單簿市場，而 Arweave 則使用了類似 AMM 的統一模型對數據供需進行管理。Arweave 統一模型更便於數據定價和處理，使用 Arweave 可以更方便的完成普通數據向共識數據的轉化，這種共識之上的數據或將迎來"數據組合性"大爆發。

同時，不得不提及 SCP 理論（基於存儲的共識範式），其核心思想是只要數據存儲具備共識，那麼使用這些數據組成的應用程序也可以形成共識。SCP 強調鏈下計算，數據可以存到 BTC、Ethereum 等各條鏈上，通過聚合區塊鏈上的數據形成唯一狀態。既然這些狀態在任何計算單元運行都會產生同樣的結果，為什麼我們還需要在鏈上對其進行運算？浪費如此多的計算資源？

目前火爆的 BRC20，比特幣銘文都使用了鏈下計算的共識。BRC20 協議和 Arweave SCP 所強調的存儲共識是一致的，都是通過區塊鏈作為數據層提供不可變、可追溯的交易數據，狀態的計算完全在鏈下進行。借助 Arweave 的存儲能力，SCP 理論可以獲得更強大的共識數據集。Arweave SCP 理論已經發展出一套工程上完備的應用方案------Permaweb，相當於比特幣索引器的終極版本，Permaweb 不僅可以處理資產，更可以處理文本、圖片甚至視頻。想像不久的將來，超級強大的索引器可以進行流媒體播放，打造出完全去中心化的抖音。

目前 Permaweb 方案支持的應用類型寬泛，不論是網盤、內容共創、遊戲都能很輕易的使用該架構進行開發。Permaweb 應用之間的數據可以相互組合。例如作家通過內容共創將創作的文字和版權上傳 Arweave，在另一款遊戲中開發者可以直接引用作家的內容，並讓玩家向作者進行版權付費。

目前 DePIN 遇到最大困境是區塊鏈性能，DePIN 設備將會走入千家萬戶，但是沒有任何一條區塊鏈能承載如此巨大的用戶交互。大多數 DePIN 仍然採用了中心化的方式處理數據，這將讓 DePIN 喪失去中心化的特性。共識數據可以為 DePIN 帶來更強大的賦能，一旦 DePIN 數據永久化之後，這些數據也會獲得組合性特徵。例如一張綠色能源證，可以在區塊鏈 PoW 運算時抵消能源消耗，可以在內容創作上成為一個標識，也可以在遊戲中成為徽章。數據和價值將無處不在地流動。

共識數據也同樣適用於 AI 人工智能領域。人類的知識和歷史應當永存，共識數據可以保障 AI 無法污染和篡改人類的知識和歷史。同樣地，共識數據可以作為 AI 的最佳數據原料，讓 AI 可以學習和處理各種有效信息。