CESS 메커니즘 상세 설명(3): 저장, 콘텐츠 전송 네트워크 및 다중 복제 가능 복구 저장 증명

上一篇文章我们详细解释了CESS 在共识机制和区块链层的设计上的思路：通过随机选取轮值共识节点机制（R²S）来保证共识达成的公平与高效，同时避免存储矿工的话语权过大。区块链本身除了交易、证明、合约等基本信息外，还包含了用户上传内容的元数据，是少有实现了元数据链上记录的存储公链。这些要归功于CESS高效的链上事务处理效率，使得在链上处理数据这种更去中心化的方式得以成为现实。

본 기사에서는 CESS의 저장 및 콘텐츠 배포 계층 설계와 CESS의 독특한 다중 복제 복구 저장 증명 메커니즘에 대해 중점적으로 설명합니다. 저장 채굴과 관련된 내용은 이후에 별도로 합의, 저장 및 콘텐츠 배포를 포함한 채굴 메커니즘 및 배포 규칙을 보여드릴 예정입니다.

1、저장 네트워크

CESS는 현재 저장 계층과 콘텐츠 배포 계층을 하나의 네트워크로 통합하고 있지만, 두 가지 기능을 분리하여 살펴보겠습니다.

탈중앙화 저장 네트워크의 가장 중요한 기능의 매개체인 저장 네트워크는 전체 CESS 네트워크의 "심장"입니다. CESS의 저장 네트워크는 저장 채굴자로 구성되어 있으며, 현재 탈중앙화 저장이 탄력적이고 확장 가능한 클라우드 저장 능력을 제공할 수 없는 문제를 해결합니다. CESS 저장 네트워크는 가상화 기술을 통해 저장 자원을 "풀링"하여 최상위 애플리케이션이나 외부 애플리케이션에 통합된, 필요에 따라 사용하는 저장 방식을 제공하고, 하드웨어의 차별화로 인한 불안정성 문제를 차단합니다. 채굴자는 유효한 저장 공간, 저장 데이터 양, 트래픽 기여도 및 운영 성능 등의 지표를 포함한 일련의 체인 상 증명을 통해 전체 CESS 네트워크에 유효한 저장 공간 및 사용 가능한 저장 공간을 제공합니다. CESS는 수요자와 저장 서비스 제공자를 연결하여 P2P 거래를 제공하는 것이 아니라, 저장 채굴자가 제공하는 저장 자원을 통합하고 알고리즘을 통해 수요를 필요한 용량, 대역폭 등에 따라 해당 저장 서비스 제공자에게 배분합니다(즉, 가상화 기술은 채굴자가 제공하는 구체적인 서비스를 "가상" 저장 서비스로 추상화하는 것을 의미합니다). 즉, 사용자가 데이터 저장을 필요로 할 때 애플리케이션에 저장 서비스를 제공합니다.

저장 자원의 활용 측면에서 CESS는 "풀링" 기술을 통해 자원 활용 효율성을 극대화했습니다. "풀링"이란 모든 저장 자원을 개별 채굴자가 아닌 하나의 전체 저장 자원 풀로 간주하는 것을 의미하며, 사용자가 업로드한 데이터는 저장 조건을 충족하는 저장 채굴자에게 무작위로 할당됩니다.

구체적으로, 사용자가 데이터를 업로드하면 합의 노드는 먼저 데이터를 암호화(신뢰할 수 있는 실행 환경을 사용하여 암호화), 분할 및 중복 처리(탈중앙화 프록시 재암호화 메커니즘)를 수행합니다. 처리된 데이터는 사용자의 데이터 저장 요구(예: 저장 시간 등)에 따라 조건을 충족하는 채굴자를 선택하여 저장됩니다. 가장 중요한 것은 CESS가 하나 또는 몇 개의 채굴자를 선택하여 저장 작업을 완료하는 것이 아니라, 분할된 데이터 조각을 조건을 충족하는 채굴자에게 무작위로 배포합니다. 이렇게 하면 Filecoin의 P2P 저장 모델에서 발생할 수 있는 대규모 독점 상황을 피할 수 있습니다.

한편, 이러한 모델은 저장 자원의 활용도를 극대화할 수 있습니다. 현재의 저장 네트워크에서 대규모 데이터 저장 작업(예: 5TB 이상의 데이터)을 수신할 경우, 일부 가정용 채굴자에게는 전체 저장을 실현할 수 없으며 경쟁력을 잃게 됩니다. 이 점은 현재 대부분의 저장 네트워크에서 잘 해결되지 않고 있으며, 저장 네트워크가 일정 수준에 도달하면 Filecoin과 Arweave 등은 불가피하게 저장의 중앙화로 나아가게 됩니다. 예를 들어, 네트워크에 채굴자 A(3TB 저장 용량)와 채굴자 B(1TB 저장 용량)가 있을 때, 현재의 저장 네트워크에서는 2TB의 데이터는 채굴자 A만 저장할 수 있지만, CESS는 A와 B가 각각 1TB를 저장하여 최대 활용도를 실현할 수 있습니다.

이용률 향상 외에도, 이 모델은 저장 시설의 하드웨어 장벽을 낮추었습니다. 한편으로는 채굴자가 "주문 수락" 및 노드 운영과 같은 복잡하고 전문적인 업무를 수행할 필요 없이 저장 작업만 수행하면 되기 때문입니다. 다른 한편으로는 채굴자가 무작위로 데이터 조각을 수신하며, 채굴자 본인의 규모에 따라 달라지지 않기 때문입니다.

이렇게 볼 때, CESS의 저장 계층은 진정으로 저장의 "탈중앙화"와 사용 효율성 극대화의 비전을 실현하였으며, 실제로 유휴 자원을 활용하고, 단순히 수익을 얻기 위해 추가 저장 자원을 늘리는 것이 아닙니다.

2、콘텐츠 배포 네트워크

CESS의 콘텐츠 배포 네트워크는 사실상 전통적인 클라우드 CDN의 기능을 수행합니다.

탈중앙화 저장 네트워크의 최대 문제 중 하나는 저장 자체가 아니라 "데이터 업로드"입니다. 특히 국내 채굴자에게는 사용자가 저장해야 할 데이터를 다운로드하는 것은 어렵지 않지만, 사용자가 필요할 때 업로드하는 데 필요한 네트워크 비용이 상당히 높습니다. 이로 인해 많은 채굴자는 데이터를 저장한 후 저장 증명을 통해 데이터의 지속성을 보장하지만, 사용자가 데이터를 업로드하는 것을 꺼려하여 네트워크가 실제로 사용할 수 없게 됩니다.

탈중앙화 저장 네트워크뿐만 아니라, 전통적인 클라우드에서도 사용자가 클라우드 데이터 센터에서 직접 데이터를 호출할 때 발생하는 높은 순간 동시 접속 및 트래픽을 감당할 수 없으며, 이는 CDN의 필요성 중 하나입니다.
CESS는 콘텐츠 배포 네트워크에서 캐시 및 검색 채굴자를 설계하여 네트워크의 효율적인 운영을 지원합니다. 이 중 캐시 채굴자는 인기 있는 데이터를 캐시하여 더 빠른 호출 속도를 실현하고, 검색 채굴자는 애플리케이션이 필요한 데이터의 위치를 신속하게 찾도록 돕습니다.

3、다중 복제 복구 저장 증명 (PoDR²)

앞서 언급한 데이터 전처리, 채굴자에게 배포 등의 과정은 CESS의 혁신적인 다중 복제 복구 저장 증명(PoDR²) 메커니즘에 해당합니다. 다중 복제 복구 저장 증명(PoDR²) 메커니즘은 CESS 플랫폼이 사용자가 업로드한 데이터에 대해 맞춤형 복제를 효과적으로 저장하도록 보장합니다. 데이터가 CESS 시스템에 업로드되면 자동으로 여러 개의 데이터 복사본(기본적으로 세 개, 사용자 정의 가능)이 생성되며, 각 데이터 복사본에 대해 복구 증명에 필요한 보조 검증 메타데이터가 생성되고, 이러한 메타데이터는 블록체인 시스템에 저장됩니다.

이때 CESS는 처리된 데이터를 각 저장 채굴자에게 배포하며, 유효한 주기 내에 채굴자는 자신이 저장한 데이터를 보고해야 CESS 시스템이 데이터가 손상되었는지 확인할 수 있습니다.

특히, PoDR² 메커니즘은 단일 파일(모든 복사본을 포함)의 모든 데이터 조각을 전체로 통계 및 모니터링합니다. 만약 특정 데이터 조각이 손상된 것으로 판단되면, CESS는 자동으로 새로운 데이터 조각을 생성하여 보충하고, 새로운 저장 채굴자에게 전송하여 복사본의 복구 가능성을 보장하고 시스템 데이터 저장의 강건성을 향상시킵니다.

명백하게도, CESS의 저장 메커니즘의 가장 큰 차이점은 데이터에 대한 중복 등의 보호 작업을 채굴자에게 의존하는 설계와 달리, CESS는 시스템의 하층에서 데이터 암호화, 중복 등의 보호 전략을 구현하고, 채굴자가 해야 할 일은 시스템에서 처리된 데이터 조각을 저장하고 저장의 유효성을 보장하는 것뿐입니다. 또한, 일부 채굴자가 데이터를 잃어버리더라도 시스템은 다른 데이터 조각을 통해 원본 데이터를 복원할 수 있습니다. 이로 인해 단일 실패 지점의 가능성이 크게 줄어들고, 탈중앙화 저장 네트워크에서 데이터의 안전성이 향상됩니다.

4、요약

CESS는 저장 메커니즘 설계에서 한편으로는 다중 복제 복구 저장 증명(PoDR²) 메커니즘을 통해 데이터 프라이버시와 안전성을 보호하고, 재해 복구 대응 조치를 설계하였으며; 다른 한편으로는 저장 자원의 "풀링"을 통해 저장 자원 활용률을 극대화하고, 실제로 "제한된 자원"을 호출할 수 있는 능력을 해결하여 탈중앙화 저장의 메커니즘 및 설계 이념에서 혁신과 발전에 기여하고 있습니다.