CESSメカニズムの詳細解説(3):ストレージ、コンテンツ配信ネットワークと多重コピーの回復可能ストレージ証明
上一篇文章我们详细解释了CESS 在共识机制和区块链层的设计上的思路:通过随机选取轮值共识节点机制(R²S)来保证共识达成的公平与高效,同时避免存储矿工的话语权过大。区块链本身除了交易、证明、合约等基本信息外,还包含了用户上传内容的元数据,是少有实现了元数据链上记录的存储公链。这些要归功于CESS高效的链上事务处理效率,使得在链上处理数据这种更去中心化的方式得以成为现实。
本篇文章将重点阐述 CESS 在存储和内容分发层上的设计,以及CESS独特的多副本可恢复存储证明机制。与存储挖矿相关的内容我们将在后续单独向大家展示包含了共识、存储以及内容分发的挖矿机制与分发规则。
1、ストレージネットワーク
CESSは現在、ストレージ層とコンテンツ配信層を一つのネットワークとして統合していますが、両者の機能を分けて考えることができます。
分散型ストレージネットワークの最も重要な機能の担い手として、ストレージネットワークはCESSネットワーク全体の「心臓」です。CESSのストレージネットワークはストレージマイナーで構成されており、現在の分散型ストレージが弾力的でスケーラブルなクラウドストレージ能力を提供できない問題を解決します。CESSストレージネットワークは仮想化技術を通じてストレージリソースを「プール化」し、トップレベルのアプリケーションや外部アプリケーションに対して統一されたオンデマンドのストレージ方式を提供し、基盤となるハードウェアの差異による不安定な問題を遮断します。マイナーは一連のオンチェーン証明(有効なストレージスペース、ストレージデータ量、トラフィック貢献量、運用性能などの指標)を通じて、CESSネットワーク全体に有効なストレージスペースと利用可能なストレージスペースを提供します。CESSは需要側とストレージサービス提供側をマッチングさせてピアツーピアの取引を提供するのではなく、ストレージマイナーが提供するストレージリソースを統合し、アルゴリズムを通じて需要を必要な容量や帯域幅に応じて適切なストレージサービス提供側に配分します(すなわち、仮想化技術はマイナーが提供する具体的なサービスを「仮想」ストレージサービスとして抽象化することを指します)。つまり、ユーザーがデータストレージのニーズを持つときに、アプリケーションにストレージサービスを提供します。
ストレージリソースの利用において、CESSは「プール化」技術を通じてリソース利用効率の最大化を実現しました。いわゆる「プール化」とは、すべてのストレージリソースを個々のマイナーではなく、全体のストレージリソースプールとして扱うことです。ユーザーがアップロードしたデータは、ストレージ条件を満たすストレージマイナーにランダムに割り当てられます。
具体的には、ユーザーがデータをアップロードすると、コンセンサスノードはまずデータを暗号化(信頼できる実行環境を使用して暗号化)、分割、冗長化などの前処理(分散型代理再暗号化メカニズム)を行います。処理が完了したデータは、ユーザーのデータストレージ要求(例えばストレージ期間など)に基づいて条件を満たすマイナーを選択してストレージを行います。最も重要なのは、CESSは一つまたは数個のマイナーを選択してストレージタスクを完了するのではなく、スライスされたデータセグメントを条件を満たすマイナーにランダムに配布します。これにより、Filecoinのピアツーピアストレージモデルで発生する可能性のある大口独占の状況を回避します。
一方で、このようなモデルはストレージリソースの利用率を最大化することも可能にします。既存のストレージネットワークでは、大規模なデータストレージタスク(例えば5TBを超えるデータ量)を受け取った場合、特定の家庭用マイナーにとっては全体のストレージを実現できず、競争力を失うことがあります。この点は、既存のほとんどのストレージネットワークでうまく解決されていません。ストレージネットワークが一定の程度に発展すると、FilecoinやArweaveなどは避けられない形でストレージの集中化に向かいます。例えば、ネットワークにマイナーA(3TBストレージ容量)とマイナーB(1TBストレージ容量)が存在する場合、既存のストレージネットワークでは2TBのデータはマイナーAによってのみストレージされますが、CESSではAとBがそれぞれ1TBをストレージすることで最大の利用率を実現します。
利用率の向上に加えて、このモデルはストレージ施設のハードウェアの敷居を下げます。一方では、マイナーはストレージのタスクを実行するだけで、「受注」やノードの運用のような複雑で専門的な事務を行う必要がありません。もう一方では、マイナーはランダムにデータセグメントを受け取るため、マイナー自身の規模に依存しません。
このようにして、CESSのストレージ層は本当にストレージの「分散化」と使用効率の最大化のビジョンを実現し、実際に未使用のリソースを活用し、完全に利益を得るためにストレージリソースを追加するのではありません。
2、コンテンツ配信ネットワーク
CESSのコンテンツ配信ネットワークは、実際には従来のクラウドCDNの機能を果たしています。
分散型ストレージネットワークにおいて、最大の問題の一つはストレージそのものではなく、「データのアップロード」です。特に国内のマイナーにとって、ユーザーがストレージするデータをダウンロードすることは難しくありませんが、ユーザーが使用する際にアップロードに必要なネットワークコストは比較的高くなります。これにより、多くのマイナーはデータをストレージした後、ストレージ証明によってデータの存続を保証しても、ユーザーにデータをアップロードすることを望まなくなり、ネットワークが実際には利用できなくなります。
分散型ストレージネットワークだけでなく、従来のクラウドにおいても、ユーザーがクラウドデータセンターから直接データを取得することによって生じる高い瞬時の同時接続とトラフィックを耐えることはできません。これもCDNの必要性の一つです。
CESSはコンテンツ配信ネットワークにおいて、キャッシュおよび検索マイナーを設計し、ネットワークのより効率的な運用を実現しています。キャッシュマイナーは人気のあるデータをキャッシュして、より迅速な呼び出し速度を実現し、検索マイナーはアプリケーションが必要なデータの位置を迅速に特定するのを助けます。
3、マルチコピー可復元ストレージ証明 (PoDR²)
上記で言及したデータの前処理やマイナーへの配布などのプロセスは、CESSの革新的なマルチコピー可復元ストレージ証明(PoDR²)メカニズムに属します。マルチコピー可復元ストレージ証明(PoDR²)メカニズムは、CESSプラットフォームがユーザーがアップロードしたデータにカスタマイズされたコピーを効果的にストレージしていることを保証します。任意のデータがCESSシステムにアップロードされると、自動的に複数のデータコピー(デフォルトで三つ、カスタマイズ可能)が作成され、各データコピーの可復元証明に必要な補助検証メタデータが生成され、これらのメタデータはブロックチェーンシステムに保存されます。
この時、CESSは処理されたデータを各ストレージマイナーに配信し、有効な期間内にマイナーは自分がストレージしているデータを報告する必要があります。これはCESSシステムがデータが損傷しているかどうかを確認するためです。
特筆すべきは、PoDR²メカニズムが単一のファイル(すべてのコピーを含む)を構成するすべてのデータセグメントを全体として統計および監視することです。もし特定のデータセグメントが損傷していると認定された場合、CESSは自動的に新しいデータセグメントを補充として生成し、新しいストレージマイナーに送信して、コピーの可復元性を保証し、システムのデータストレージの堅牢性を向上させます。
明らかに、CESSのストレージメカニズムの最大の違いは、データの冗長化などの保護操作をマイナーに依存する設計とは異なり、CESSはシステムの基盤でデータの暗号化、冗長化などの保護戦略を実現しており、マイナーが行うべきことはシステムが処理したデータセグメントをストレージし、その有効性を保証することだけです。さらに、一部のマイナーがデータを失った場合でも、システムは他のデータセグメントを通じて元のデータを復元することができます。この措置は、単一障害点の可能性を大幅に低下させ、分散型ストレージネットワークにおけるデータの安全性を向上させます。
4、まとめ
CESSのストレージメカニズムの設計において、一方ではマルチコピー可復元ストレージ証明(PoDR²)メカニズムを通じてデータのプライバシーとセキュリティを保護し、災害対策の対応策を設計しています。もう一方では、ストレージリソースの「プール化」を通じてストレージリソース利用率の最大化を実現し、実際に「制限リソース」を呼び出す能力を解決し、分散型ストレージにおけるメカニズムと設計理念の革新と進歩に卓越した貢献を果たしています。