2022 年末總結：去中心化存儲的現狀與未來
未來的去中心化存儲場景會包括完整的互操作性、數據可用性、安全性以及通過中間件和 API 提供用戶/開發者友好的鏈下計算。作者：Jason ， Puzzle Ventures
TL; DR
將非核心數據從主鏈上分離並存入DSN（Decentralized Storage Network）已經成為了解決擴容、提升互操作性和隱私保護的主流方案。
Filecoin在礦工網絡和存儲成本上擁有極大的優勢，但是Arweave的永久性存儲可以給NFT或社交類應用提供更加可靠的解決方案。
L1擴展存儲網絡可以提供相比DSN互操作性更高的新方案，但是仍然需要時間驗證模式。
未來的去中心化存儲場景會包括完整的互操作性、數據可用性、安全性以及通過中間件和API提供用戶/開發者友好的鏈下計算。
去中心化存儲的發展歷程
數據存儲板塊一直以來都是科技界發展的基石和重點關注領域。從基於亞馬遜、微軟、阿里巴巴等提供了中心化雲存儲服務以來，雲存儲市場已經基本形成了1000億美元以上(2021年)的市場規模且頭部效應明顯（亞馬遜40%，微軟22%，阿里雲10%，數據來源Gartner）。而隨著Web3的爆發，一批去中心化存儲的供應商開始滿足傳統雲存儲市場滿足不了的需求。
雖然目前大多數的dApp仍然部署在AWS上，而以太坊的節點在merge前也有超過50%在AWS上運行[1]，但是Web3項目卻逐漸發現了將後端和元數據與去中心化存儲連接的重要性和必然性。根據Ethereum.org的定義，去中心化存儲是一個由p2p網絡構成的，每個運營者擁有整體數據的一部分並可以通過算法復原的數據分享系統[2]。
去中心化存儲雖然可以解決諸多問題，例如數據隱私性保護、抗審查等，但目前的去中心化系統發展還不成熟且有諸多亟待解決的問題。經過（主）鏈上存儲方案的不斷嘗試，DSN（Decentralized Storage Network）是目前的主流解決方案，這種方案可以最大程度上將存儲容量提升到接近於無限，並且對數據的安全性和隱私性有所保障。
表1 區塊鏈數據存儲方案比較
具體鏈上擴容方案可以參考文章：https://zhuanlan.zhihu.com/p/48078642
筆者認為，鏈下的存儲層終將會成為Web3生態中的重要基礎設施，並通過熱存儲、冷存儲的方式解決任何協議層、運行層的數據存儲問題。
在未來，"不可能三角"中的擴容問題可以通過將存儲層完全剝離但維持互操作性的方式來解決，並通過建立於冷存儲層之上的中間件、API等服務提升數據計算、調用、推送的效率。
去中心化存儲的發展現狀：分類與規模
去中心化存儲本質上服務於Web3生態的應用層，因此在解決方案上更加傾向於滿足終端用戶的需求，也就是用更高效、更低成本的方式執行數據存儲、計算與調用的需求。從分類上來看，Arweave、Filecoin和Storj已經形成了獨立的三個頭部去中心化存儲網絡，其中Filecoin和Storj是更加去中心化的P2P存儲網絡，而Arweave是更緊密組織的存儲節點網絡。
另一方面，不同類型的存儲聚合網絡因為滿足用戶費用優化、存儲方便等需求，逐漸成為更有吸引力的gateway，但仍然架構在Arweave或Filecoin之上。另外，以EthStorage為代表的L1擴展網絡則專注於可直接調用主鏈DA層且提供額外的算力的設計，與L1深度鏈接。
（注：圖中所列項目以現存項目和新項目為主，不包含往期項目）
來源: Puzzle Ventures
另外還有建立於底層存儲網絡之上或獨立的計算網絡和協調型中間件也是去中心化存儲生態的補充部分，但以生態dApp為主，本文不重點討論。
從發展規模角度來看，Filecoin無論在收入、FDV還是市場份額角度來看都遙遙領先，並且用戶存儲使用度仍然在不斷增加。然而，三百多萬美元的季度收入無論在Web2還是Web3領域都不能算多，並且還是在幾乎壟斷的情況下。所以整個去中心化存儲賽道仍然有著很大的發展空間。
表2 去中心化存儲Q3 2022收入與規模
來源: Messari, Web3 Index, CoinGecko
而Arweave和Storj的季度收入還處於十萬美元級別，也就是日收入一千多美元，還遠遠沒有達到其應有的市場規模。原因一方面與熊市整體市場萎靡相關，另一方面則是因為目前的DSN存儲方案還沒有達到與Web3完美契合的拐點。在未來，整個DSN市場一方面需要更多的中間件、聚合器去提供更多的用戶流量，另一方面也需要對自身的成本與價值不斷調整優化。
主流方案：Filecoin與Arweave的比較
1）功能性
在現階段，Filecoin和Arweave採用的不同技術架構也帶來在功能性上的不同。根據Fundamental Labs[3]的研究報告，我們把功能性的評估框架定義為：存儲範圍的靈活性、存儲的永久性、避免冗餘能力、數據存儲的激勵性、存儲數據的普遍性、數據的可獲得性。從某種程度上來說，Arweave和Filecoin是一對互補的方案：Arweave更專注於數據存儲的永久性和穩定性，更適合metadata和歷史數據等；而Filecoin則可以提供更靈活的存儲方案（存儲時間、種類），更適合個人和非關鍵數據的存儲。
來源：Fundamental Labs
從最新的技術發展進程來看，Filecoin version 17 "Shark"主要建立了存儲協議的可編程性，也就是在存儲層上增加了智能合約的互動層，並計劃於明年二月推出FEVM系統。Filecoin上的數據可用性和活躍度將有所提升，並可以支持更多元化的互操作性，這也是Filecoin相比Arweave的靈活性優勢。而Arweave仍然在數據安全性、節點激勵穩定性（endowment）和存儲入口上著力發展，對於永久性存儲這一理念持續"充值信仰"。因此，雖然很難斷言哪一種方案更有優勢，但無論如何這兩個去中心化存儲協議已經在各項功能上發展得比較完善來滿足去中心化存儲的基本需求。
2）費用
同樣，Filecoin和Arweave在費用方面也很難直觀的比較，本文旨在盡可能合理的方式來對兩者的費用形成一定的感知。為了形成數據可比性，本文採用同等存儲大小在200年的存儲時間內的價格作為比較對象（Arweave一般認為可以支持存儲200年）。
表3 雲存儲費用比較（數據截取於2022年12月）
來源：Amazon.com, Arweavefees.com, File.app, Filfox.info
從表3中可以看出，AWS最基礎的S3 Standard套餐的價格約為$0.023 per GB per month，則存儲200年需要$55.2 per GB，而相對更適合長期冷存儲的Glacier Deep Archive方案可以把價格壓低至$2.38 per GB，但是每年的歸檔次數有限制。而Arweave隨著AR token的價格波動會產生不同的價格，2022年12月的價格是$1.42 per GB，也就是說存儲5年左右就可以和S3 standard的存儲成本持平。
另一方面，Filecoin的價格計算較為複雜，因為不同的礦工給到的價格有差別且FIL token價格、存儲時間和數據調用的頻率都會對價格造成影響。但無論如何Filecoin的存儲成本相比Arweave和S3來說已經便宜了好幾個數量級，可以幾乎被認為是零成本存儲。
但價格是最主要的因素嗎？Arweave的永久性存儲對於Web3的意義是更加重大的。例如NFT如果丟失了元數據和圖片數據就會瞬間失去價值而變成一個點不開的連接，而在Filecoin的存儲協議中，由於過於去中心化的管理方式會造成Garbage Collection的風險，也就是其存儲文件的節點中如果對某些文檔沒有標星的話會有被誤刪的風險。
同時，當Filecoin存儲的時間到期時需要更新存儲方，這個過程中也容易形成風險。反觀Arweave，通過AR的激勵機制鼓勵節點存儲數據到200年，並且針對AR未來的貶值也做出了相應的補償激勵，同時在存儲過程中會通過周期性的隨機檢查來確保節點仍然完整的存儲數據。這些措施都是為了確保每個節點都能通過完整的存儲數據來獲得激勵，也保障了被存儲數據的安全性和可靠性。在已經黑客事件頻發的Web3世界中，數據存儲的可靠性帶來的價值不是用簡單的存儲價格來衡量的。
3）生態
去中心化存儲的生態包括礦工/節點和生態dApps。
表4 Filecoin與Arweave的生態數據比較
來源：Filscan.io, Messari
Filecoin由於社區建設較早且關注度較高，目前的存儲力在18.9EB左右，是Arweave的17萬倍。但是Arweave在3年多的發展時間內已經形成了比Filecoin高2.5倍的存儲力增長率，而且Filecoin的增長率實際上已經趨近於穩定的直線。從市值的角度來說，Arweave目前的FDV是Filecoin的40%左右，我們可以判斷Arweave在未來會快速追趕Filecoin的存儲力生態。
根據Filecoin今年11月發布的未來計劃[4]，Filecoin未來會致力於滿足computation和更大範圍的data onboarding這兩個需求，從而真正成為Web3世界的Layer 0。從存儲力擴展的角度來說，Filecoin通過向FIL+和ESPA Bootcamps這樣的激勵計劃來促進更多的礦工來參與節點建設。
而在data onboarding和computation上，Filecoin會關注一些具體的細分市場，例如NFT元數據、Web2數據源等等，然後通過Filecoin Virtual Machine建立鏈上的算力，讓這些數據可以更加方便地被使用。從最新的一些Filecoin提案中（FIP-0044，FIP-0045）也可以看出data onboarding是目前的發展重點。
反觀Arweave, 最新的2.6版本[5]中主要的關注點是降本增效，也就是通過迭代硬件等方式降低整體存儲成本和存儲價格，同時提升數據存儲、調用的效率。所以Arweave實際上是希望通過建立更好的基礎環境來吸引更多的開發者和用戶，同時通過生態項目來滿足例如gateways, computation等進一步的用例。
所以Filecoin的邏輯是提供大一統、專注於存儲業務且依賴於礦工生態的去中心化存儲網絡；而Arweave更像是一個標準的Web3生態，通過提供完善的底層架構和激勵機制營造一個適合開發和用戶友好的環境，實現用戶數量和dApp數量的有機增長。
從生態項目角度來說，Arweave上已經孵化出了包括Bundlr, Kyve, ArDrive, KwilDB等一批針對技術優化、存儲入口、應用擴展方向的優質項目，並且大部分項目負責人都是年輕的創業者為主，發展潛力較大。Filecoin的生態項目數量上有著基數大的優勢，Filecoin生態更像是一個開源環境，可以滿足更廣闊的存儲相關需求但並沒有重點的發展方向。
新方案：聚合網絡與L1拓展網絡
1）聚合網絡
聚合網絡的概念實際上早在Filecoin上線之初就有了，例如Coldstack等早期項目。然而Coldstack並沒有獲得巨大成功，究其原因主要是純粹的、Uber式的聚合器並不能真正提升存儲效率，而且除此之外無法提供進一步的價值。存儲協議的聚合網絡的確可以解決用戶存儲效率和成本上的痛點，但是做法卻可以有多種。
首先，這些聚合網絡得比Filecoin和Arweave自身的gateway要做得好才能獲得市場認可。隨著Filecoin往FVM鏈上計算的方向發展，很可能會擠掉一批建立在Filecoin之上，提供額外computation能力的聚合網絡。其次，不同的聚合協議要解決Filecoin或Arweave本身很難實現的問題，而不是做大一統的聚合流量入口（至少早期切入點不是），因為大一統的流量入口最終將會由Filecoin和Arweave自身把控。
Jackal就是建立在Filecoin之上且專注於提升數據隱私性和安全性的聚合器方案。它提供了一套給已存文件進一步AES-256加密的方案，並通過Cosmos建立PoS共識的L1鏈來管理和收費，相當於在Filecoin之上又建立了一層私有雲存儲協議。
同時，Jackal還將通過其Proof-of-Persistence算法來提供3倍的文件拷貝，並在存儲價格上進行優化。Redundancy和cost並不是去中心化存儲的核心問題，但是數據隱私和安全的提升是Filecoin本身在短時間內較難做到的。4EVERLAND是另一個聚合了Filecoin, Arweave和Dfinity作為底層存儲層的雲計算平台，主要專注於給dApp提供去中心化存儲、計算和網絡的核心能力，打造底層去中心化存儲層和應用層之間的連接層。
從目前來看，Web hosting和Bucket是其主要的兩個產品，hosting在4EVERLAND全球200多個網關加速的情況下可以完成前端托管，而Bucket則是一個聚合gateway。這兩個產品都從用戶友好性上大幅提升了去中心化存儲的實際使用度，並且解決了例如多幣種付費、數據面板等細節層面的優化問題。
2）L1存儲擴展網絡
L1存儲擴展網絡本質上和現有的Layer 2相同，都是提升L1性能和可擴展性的解決方案的總稱。而 EthStorage則是第一個以存儲擴展為核心的Layer2解決方案，主要包括三大類的功能：Proof of Publication, External Data Retention, Access Protocol。
Proof of Publication即通過其特製的KZG Commitment和Reed-Solomon Code來實現存儲數據的CRUD功能，而Filecoin和Arweave目前只能做到CRD。在增加了Update功能以後，再結合Access Protocol這樣的可直接渲染以太坊合約上面托管的資源的Web3 URL功能，就可以輕鬆實現例如Web3 Email、Web3 Blog、Web3 Drive等鏈上活動，這些嘗試都有助於未來的Web3 大規模應用。
另一方面，由於其EVM兼容和鏈上存儲的特性，相比Filecoin和Arweave來說交互路徑更短，所以可組合性也更高。舉例來說，EthStorage可以將NFT的元數據鏈上存儲在EVM環境中，並可通過智能合約完成NFT組合等需要可編程性才可以實現的新玩法，改善用戶體驗，而鏈上數據（大規模的）的可編程性在未來也會衍生出更多的新Defi、Gamefi、Socialfi應用。目前來看，L1存儲擴展網絡和DSN網絡是互補且競爭的，要在EVM生態中生存並且將其存儲範式演化成官方標準，需要時間來驗證。
未來發展的可能性
總的來說，Filecoin和Arweave發展至今已經成為了去中心化存儲的代表性項目，也代表著去中心化存儲的0到1過程基本完成。在發展理念上，將非鏈上核心數據拆分到存儲層已經成為了以太坊擴容的主要手段。
與此同時，存儲聚合網絡和L1擴展網絡作為補充和延展，可以更高效、低成本的滿足用戶的具體需求，而基礎的DSN網絡還有很多需要解決的問題：生態應用偏少、存儲與計算分離、Web2 onboarding較難等問題都阻礙了DSN邁向下一波增長。在未來，本文判斷以下幾種類型的項目有可能成為下一波增長的引擎：
- DSN聚合器：建立在不同/相同DSN網絡上的聚合入口，並提供費用最優化的選擇、統一代幣支付、數據可用/調用服務等提升用戶友好性的工具。類似項目：Lighthouse, 4EVERLAND
- 鏈下計算：雖然Filecoin已經在鏈上的去中心化計算佈局，但純粹的鏈上計算並不能滿足更複雜的計算要求。結合鏈上數據和鏈下計算的綜合性解決方案可可以通過完成更複雜的計算來提升數據的使用價值，擴展用例。類似項目：KwilDB, Tableland
- L1存儲擴展網絡：L1存儲和算力擴展的優勢是可以直接與L1生態產生深度連接，即使滿足類似social、gaming這樣數據存儲需求較大的項目，同時還可以在獲得官方認可後快速大規模實現integration。類似項目：EthStorage
- 第三方數據安全網絡：對現有的DSN中存儲的數據進行安全保護，對存儲節點進行審查、備份和阻擋黑客攻擊，提供相關賠償保險方案。類似項目：Jackal
參考文獻：
[1]https://cointelegraph.com/news/3-cloud-providers-accounting-for-over-two-thirds-of-ethereum-nodes-data
[2]https://ethereum.org/en/developers/docs/storage/
[3]https://6pjecoitbb3mbacc67rvmct3gbugplnty5ptok4rgunlo24tvq.arweave.net/89JBORMIdsCAQvfjVgp7MGhnrbPHXzcrk_TUat2uTrA
[4]https://filecoin.io/blog/posts/the-filecoin-masterplan/
[5]https://arweave.news/arweave-2-6-major-upgrade-more-data-less-energy
