탈중앙화 저장 개념, 실습 및 전망

저자: PermaDAO

탈중앙화 저장소는 단일 중앙 제어 지점에 의존하지 않는 데이터 저장 방법입니다. 이 방식은 전통적인 중앙 집중식 저장소(예: Amazon S3 또는 Google Cloud와 같은 전통적인 클라우드 저장 서비스)와 대조적이며, 후자는 일반적으로 단일 기업이나 조직에 의해 관리됩니다.

주류 탈중앙화 저장소

현재 시장에서 주류 탈중앙화 저장소로는 Arweave, Filecoin, Storj가 있습니다. 이들은 각기 독특한 특징과 설계 이념을 가지고 있습니다:

• Arweave는 장기 또는 영구적인 데이터 저장에 집중합니다.
• Filecoin은 전통적인 클라우드 저장소와 유사한 탈중앙화 시장을 제공하며, 유연한 저장 요구를 지원합니다.
• Storj는 안전성과 개인 정보 보호를 강조하는 탈중앙화 클라우드 저장 서비스입니다.

이 세 플랫폼은 모두 블록체인 기술을 사용하지만, 그들의 응용 시나리오, 기술 구현 및 지불 모델은 다릅니다. 각기 다른 유형의 저장 요구에 적합합니다:

1. Arweave

• 목표: 장기적이고 영구적인 데이터 저장 솔루션을 제공하는 것입니다. Arweave의 목표는 데이터를 "영원히" 저장하는 것이며, 주로 장기 데이터 보존에 사용됩니다.
• 기술: "블록 직물"(Blockweave)이라는 독특한 블록체인 기술을 사용합니다. 전통적인 블록체인과 달리, 블록 직물은 각 새 블록에 이전의 무작위 블록에 대한 참조를 포함하여 데이터의 장기 보존을 장려하는 설계입니다.
• 지불 모델: 사용자는 데이터 저장에 대해 일회성 비용을 지불하며, 데이터가 저장된 후 이론적으로 영구적으로 접근할 수 있습니다.

2. Filecoin

• 목표: 전통적인 클라우드 저장 서비스와 유사한 탈중앙화 저장 시장을 만드는 것입니다.
• 기술: Filecoin은 IPFS(인터넷 파일 시스템)의 인센티브 레이어입니다. "저장 증명"과 "시공 증명"을 사용하여 데이터가 올바르게 저장되었음을 보장합니다.
• 지불 모델: 사용자는 저장된 데이터의 양과 시간에 따라 저장 제공자에게 비용을 지불합니다. 이는 보다 전통적인 임대 모델로, 사용자는 필요에 따라 저장을 늘리거나 줄일 수 있으며 이에 따라 비용을 지불합니다.

2. Storj

• 목표: 사용자에게 안전성과 개인 정보 보호에 중점을 둔 탈중앙화 클라우드 저장 솔루션을 제공합니다.
• 기술: Storj는 데이터의 안전성과 개인 정보를 보호하기 위해 암호화 및 분할 기술을 사용합니다. 데이터는 업로드 전에 클라이언트에서 암호화되고 여러 개의 작은 조각으로 나뉘며, 전 세계의 노드에 분산 저장됩니다.
• 지불 모델: Storj의 지불 모델은 전통적인 클라우드 저장소와 유사하며, 사용된 저장 공간과 대역폭에 따라 요금이 부과됩니다.

비교해보면, Arweave는 영구 저장을 강조하며 데이터의 검열 저항성과 지속성에 더욱 중점을 둡니다. Filecoin과 Storj는 저장 시장을 사용하여 블록체인 기술로 저장 시장을 재구성하는 데 중점을 둡니다.

비즈니스 구조 분석

Arweave의 데이터 영구 저장 이론적 기초는 "무어의 법칙"과 유사합니다. 1980년대부터 현재까지의 데이터 저장 비용 통계에 따르면, 저장 비용은 매년 20%의 속도로 감소하고 있습니다. 이 통계적 규칙에 따르면, 무한한 세월이 지나면 데이터 저장 비용은 상수로 수렴할 것입니다. Arweave의 영구 저장은 이를 기반으로 200년 동안의 데이터 저장 비용을 계산했습니다. 사용자는 데이터 저장 시 이 비용을 일회성으로 지불합니다.

동시에 Arweave는 매우 우아하고 간결한 데이터 채굴 메커니즘을 설계했습니다. 이를 "유효 데이터 채굴"이라고 부를 수 있습니다.

"유효 데이터"란 과거에 이미 Arweave 네트워크에 저장된 데이터를 의미하며, 사용자는 이러한 유효 데이터에 대해 200년의 저장 비용을 지불합니다. 네트워크의 또 다른 역할 집단인 채굴자들은 유효 데이터를 사용하여 채굴하고 유효 데이터의 읽기 서비스를 제공합니다. 다른 저장 블록체인과의 차이점은 Arweave가 채굴자에게 데이터를 저장하도록 강제하지 않고, 각 채굴자가 "유효 데이터"를 최대한 저장하도록 장려하는 인센티브 규칙을 설정했다는 것입니다. Arweave 네트워크에서 채굴자가 저장하는 "유효 데이터"가 많을수록 채굴의 "연산력"이 커집니다.

가정해보면 Arweave 네트워크에 100TB의 유효 데이터가 있다고 할 때, 채굴자는 모든 100TB의 데이터를 저장할 필요는 없습니다. 즉, 채굴자는 100MB의 데이터만 저장해도 채굴할 수 있지만, 그 채굴자의 연산력은 매우 미미할 것입니다. 만약 채굴자가 모든 100TB의 데이터를 저장하기로 선택한다면, 그가 가진 연산력은 최대치에 도달할 것입니다.

"유효 데이터 채굴" 메커니즘에서 Arweave 네트워크는 채굴자가 가능한 한 많은 데이터를 저장하도록 유도하지만, 모든 데이터 저장을 강제하지 않습니다. 그렇다면 이 인센티브 모델에서 데이터 손실 가능성이 있을까요? 아래는 데이터 손실에 대한 시뮬레이션 연산입니다:

여기서 첫 번째 줄과 두 번째 줄의 0.5는 단일 노드가 50%의 데이터를 저장했음을 나타냅니다. 가정해보면 해당 블록 네트워크에 20만 개의 블록이 있고, 네트워크에 200개의 노드가 있으며, 각 노드는 무작위로 10만 개의 블록(50%의 블록 데이터)을 저장하고 있다고 가정할 수 있습니다. 이 경우 단일 블록에 접근할 수 없는 확률은 6.223\^10-61로 계산됩니다. 클라우드 서비스 제공자의 데이터 신뢰성은 99.9999999%, 즉 10의 7제곱입니다. 위의 Arweave 연산은 놀랍게도 61제곱에 도달했습니다.

Filecoin과 Storj는 모두 블록체인 기술을 사용하여 데이터 저장 시장을 구축했습니다. 그중 Storj의 주요 개선점은 데이터 개인 정보 보호입니다. 본문에서는 Filecoin의 원리를 주로 설명합니다.

전통적인 주문서와 유사하게, 사용자가 Filecoin을 사용하려면 먼저 거래 시장에서 입찰을 하고 데이터 저장 시간과 백업 수량을 명시해야 하며, 채굴자는 수익을 낼 수 있는 주문을 수락합니다. 전체 거래 시장의 공정성을 보장하기 위해 Filecoin은 복잡한 경제 모델을 구축하고, 벌금 및 소액 분할 지불 등 다양한 규칙을 설정했습니다. 그 핵심 기술은 복제 증명과 시공 증명입니다.

복제 증명: 채굴자는 사용자에게 데이터가 전용 물리적 장치에 의해 저장되었음을 증명합니다. 채굴자가 사용자의 데이터를 저장할 때마다 네트워크는 해당 채굴자에게 비용을 지불합니다.

시공 증명: 복제 증명만으로는 데이터가 계속 저장되고 있다는 것을 보장할 수 없습니다. 채굴자는 증명을 제출할 때만 이 데이터를 저장할 수 있습니다. 이를 위해 Filecoin은 시공 증명을 보완하여 채굴자가 이러한 데이터를 지속적으로 저장하도록 합니다.

이상의 내용을 요약하면, Arweave의 영구 저장의 근거와 구현 방안은 다음과 같습니다:

• 영구 저장 비용이 매년 감소
• "유효 데이터 채굴"을 통해 채굴자에게 인센티브를 제공하여 데이터 영구 저장을 실현

Filecoin과 Storj는 블록체인 기술을 사용하여 창출된 탈중앙화 저장 시장이며, 그들의 모델은 전통적인 거래 시장의 주문서와 유사합니다. 주문자는 수요를 제공하고, 채굴자는 주문을 수락하여 데이터 저장을 보장합니다. Filecoin의 핵심 기술 포인트는 복제 증명과 시공 증명입니다.

저장 실습

데이터를 Arweave에 저장하는 방법은 두 가지가 있습니다. 첫 번째 방법은 데이터를 Arweave 노드에 직접 전송하고 AR을 지불하는 것입니다. 두 번째 방법은 ANS-104(번들) 데이터 바인딩 프로토콜을 사용하여 데이터를 일괄적으로 Arweave에 패키징하는 것입니다.

데이터를 Arweave에 직접 저장하기

사용자는 AR을 지갑에 보유하기만 하면 이 작업을 완료할 수 있습니다. 다음 코드를 사용하여 file.pdf라는 파일을 Arweave에 저장합니다:

더 많은 문서 참조: https://github.com/ArweaveTeam/arweave-js .

ANS-104를 사용하여 데이터를 Arweave에 저장하기(추천)

Arweave의 블록 생성 속도는 일반적으로 약 2분으로 낮으며, 하나의 블록은 1000건의 거래만 처리할 수 있습니다. 이는 Arweave 저장 거래 수를 크게 제한합니다. 비록 Arweave 거래의 저장 용량은 무한하지만, 사용자는 100MB 또는 심지어 10GB의 데이터를 한 거래로 직접 Arweave에 저장할 수 있습니다. 거래 수의 확장 문제를 해결하기 위해 ANS-104가 등장했습니다.

ANS-104는 여러 거래를 바인딩하는 기술로, 수만 개의 서로 다른 데이터 엔티티를 하나의 일반 Arweave 거래에 일괄적으로 바인딩할 수 있습니다. 이는 Ethereum의 Layer2 Rollup 솔루션에 비유할 수 있지만, ANS-104는 데이터의 안전성을 손실하지 않으며, 바인딩된 데이터는 100% 완전한 데이터로 Arweave에 저장됩니다.

ANS-104를 사용하여 데이터를 저장하는 코드 예시는 다음과 같습니다:

이 코드는 데이터 바인딩 서비스로 arseeding 경량 노드를 사용하며, arseeding 경량 노드는 완전 오픈 소스 Arweave 데이터 노드로, 모든 Arweave 기본 노드 인터페이스를 지원하고 ANS-104 인터페이스를 확장합니다. 또한 arseeding은 크로스 체인 결제 프로토콜 everPay를 통합하여, AR을 사용하여 저장 비용을 지불하는 것 외에도 사용자는 ETH, BNB, USDT 및 USDC와 같은 다양한 자산을 사용하여 데이터 영구 저장을 할 수 있습니다.

더 많은 문서 참조: https://web3infra.dev/docs/Arseeding/guide/quickStart .

저장 비용

현재 Arweave에 1GB 데이터를 저장하는 비용은 $7.5이며, 최신 저장 비용 참조: https://ar-fees.arweave.dev/ .

Arweave의 데이터 검색 및 다운로드

Arweave는 표준화된 GraphQL 서비스 인터페이스를 제공하며, 개인과 기관은 누구나 표준에 따라 Arweave 인덱스를 구현할 수 있습니다. 다음은 두 가지 전형적인 유용한 인덱스 게이트웨이입니다:

• ArweaveNet 게이트웨이, 인덱스가 가장 완전합니다. https://arweave.net/graphql
• KNN3 게이트웨이, arseeding 노드 데이터를 실시간으로 검색하며 속도가 빠릅니다. https://knn3-gateway.knn3.xyz/arseeding/graphql

Arweave 데이터를 다운로드하려면 데이터의 ARID 또는 ItemID만 알면 됩니다. 코드 예시는 다음과 같습니다:

Filecoin의 저장 방법

안타깝게도 Filecoin은 일반 사용자와 개발자를 위한 저장 도구를 제공하지 않습니다. 일반 개발자에게 Filecoin은 사용할 수 없는 상태입니다. 산발적인 기술 문서에서 제3자 서비스 제공자를 통해 Filecoin 저장 솔루션을 찾을 수 있지만, 서비스 제공자의 문서를 자세히 살펴보면 대부분의 서비스 제공자는 IPFS 저장만 제공하며, 이들 서비스 제공자가 반드시 데이터를 Filecoin에 저장하는 것은 아닙니다. 필자의 능력이 부족하여 Filecoin에 데이터를 저장할 수 있는 좋은 경로를 찾지 못했으며, Filecoin에서 데이터를 직접 가져올 수 있는 인터페이스도 없습니다.

Storj의 저장 방법

Storj의 저장 방식은 Web2와 유사하며, 개발자는 공식 웹사이트에 등록하고 API-KEY를 받아야 합니다. Storj의 저장은 AWS S3 인터페이스와 호환되므로 여기서는 더 이상 설명하지 않겠습니다. Storj의 저장 비용은 매우 저렴하며, 1GB 저장에 1개월 동안 단 $0.004입니다. 그러나 200년 저장 비용으로 환산하면 Arweave보다 약간 더 비쌉니다, $9.6입니다.

저장 실습을 통해 Arweave의 거래 처리 방식이 Bitcoin/Ethereum 등 블록체인과 일치함을 알 수 있습니다. Filecoin은 사용할 수 있는 SDK와 인터페이스를 제공하지 않으며, 안타깝게도 이른바 저장의 선두주자가 개발자에게는 사용할 수 없는 상태라는 점은 아쉬운 일입니다. Storj의 저장 방식은 Web2와 완전히 일치합니다.

주목할 점은 Arweave는 원주율 블록체인 저장소로, 데이터가 Arweave에 전송되면 삭제하거나 변경할 수 없다는 것입니다. Filecoin과 Storj는 임대 모델로, 프로젝트 측은 언제든지 저장 임대 서비스를 중단할 수 있으며, 이 모델 하에서는 데이터가 블록체인 특성을 가지지 않으며, 데이터 특성과 중앙 집중식 클라우드 서비스에 저장된 데이터는 동일합니다.

Arweave와 Filecoin 등 데이터 저장의 차이를 더 명확하게 구분하기 위해, Arweave에 있는 데이터를 "합의 데이터"라고 명명할 수 있습니다. BTC 또는 Ethereum에 있는 데이터는 모두 합의 데이터에 해당하며, 이러한 데이터는 변경 불가능하고 추적 가능한 특성을 가지고 있습니다. Filecoin 저장 임대 시장에 저장된 데이터는 합의 데이터라고 할 수 없습니다.

발전 전망

탈중앙화 저장소는 두 개의 완전히 다른 비즈니스 라인을 나타냅니다. Arweave를 대표로 하는 비즈니스 라인은 합의 데이터를 핵심으로 하여 데이터의 탈중앙화, 검열 저항, 추적 가능성 등의 특성을 강조합니다. Filecoin을 대표로 하는 비즈니스 라인은 탈중앙화 시장을 핵심으로 하여 저장 자원의 분배와 저장 성공 증명을 강조합니다. DeFi의 발전에 비유하자면, 초기의 IDEX는 블록체인 기술로 주문서 시장을 구축했으며, 주문서는 매우 전통적인 비즈니스 모델로, 매매를 통해 티켓 교환 문제를 해결하는 것을 목표로 했습니다. DeFi의 폭발은 Uniswap AMM 거래 모델이 가져온 유동성 채굴 기술로, AMM은 주문을 완전히 자동화하여 유동성의 조합성을 실현하였고, 결국 DeFi Summer의 대폭발을 가져왔습니다. 현재의 탈중앙화 저장 경로에서 Filecoin이 대표하는 것은 블록체인 기술로 구축된 주문서 시장이며, Arweave는 AMM과 유사한 통합 모델을 사용하여 데이터 수요와 공급을 관리합니다. Arweave의 통합 모델은 데이터 가격 책정과 처리에 더 용이하며, Arweave를 사용하면 일반 데이터를 합의 데이터로 더 쉽게 전환할 수 있습니다. 이러한 합의 위의 데이터는 "데이터 조합성"의 대폭발을 맞이할 수 있습니다.

동시에 SCP 이론(저장 기반 합의 패러다임)도 언급하지 않을 수 없습니다. 그 핵심 사상은 데이터 저장이 합의를 갖춘다면, 이러한 데이터를 사용하여 구성된 응용 프로그램도 합의를 형성할 수 있다는 것입니다. SCP는 체인 외 계산을 강조하며, 데이터는 BTC, Ethereum 등 여러 체인에 저장될 수 있으며, 블록체인上的 데이터를 집합하여 유일한 상태를 형성합니다. 이러한 상태가 어떤 계산 단위에서 실행되더라도 동일한 결과를 생성한다면, 왜 우리는 체인에서 이를 계산해야 할까요? 이렇게 많은 계산 자원을 낭비해야 할까요?

현재 인기 있는 BRC20, 비트코인 각인은 모두 체인 외 계산의 합의를 사용하고 있습니다. BRC20 프로토콜과 Arweave SCP가 강조하는 저장 합의는 일치하며, 모두 블록체인을 데이터 레이어로 사용하여 변경 불가능하고 추적 가능한 거래 데이터를 제공하며, 상태의 계산은 완전히 체인 외에서 진행됩니다. Arweave의 저장 능력을 통해 SCP 이론은 더 강력한 합의 데이터 세트를 얻을 수 있습니다. Arweave SCP 이론은 엔지니어링적으로 완비된 응용 솔루션인 Permaweb을 발전시켰으며, 이는 비트코인 인덱서의 궁극적인 버전과 같습니다. Permaweb은 자산을 처리할 뿐만 아니라 텍스트, 이미지 및 비디오도 처리할 수 있습니다. 가까운 미래에 슈퍼 강력한 인덱서는 스트리밍 재생을 수행할 수 있으며, 완전히 탈중앙화된 TikTok을 만들 수 있습니다.

현재 Permaweb 솔루션이 지원하는 응용 유형은 광범위하며, 클라우드 스토리지, 콘텐츠 공동 창작, 게임 등 다양한 구조로 쉽게 개발할 수 있습니다. Permaweb 응용 간의 데이터는 서로 조합할 수 있습니다. 예를 들어, 작가는 콘텐츠 공동 창작을 통해 창작한 텍스트와 저작권을 Arweave에 업로드하고, 다른 게임에서 개발자는 작가의 콘텐츠를 직접 인용하여 플레이어가 저자에게 저작권 비용을 지불하도록 할 수 있습니다.

현재 DePIN이 직면한 가장 큰 어려움은 블록체인 성능입니다. DePIN 장치는 가정에 보급될 것이지만, 어떤 블록체인도 이렇게 많은 사용자 상호작용을 수용할 수 없습니다. 대부분의 DePIN은 여전히 중앙 집중식 방식으로 데이터를 처리하고 있으며, 이는 DePIN의 탈중앙화 특성을 상실하게 만듭니다. 합의 데이터는 DePIN에 더 강력한 힘을 제공할 수 있으며, 일단 DePIN 데이터가 영구화되면 이러한 데이터는 조합성 특성을 갖게 됩니다. 예를 들어, 하나의 녹색 에너지 증명서는 블록체인 PoW 연산 시 에너지 소비를 상쇄할 수 있으며, 콘텐츠 창작에서 하나의 식별자가 될 수 있고, 게임에서 배지로 사용될 수 있습니다. 데이터와 가치는 어디에나 흐를 것입니다.

합의 데이터는 AI 인공지능 분야에도 적용됩니다. 인류의 지식과 역사는 영원히 보존되어야 하며, 합의 데이터는 AI가 인류의 지식과 역사를 오염시키거나 변경하지 않도록 보장할 수 있습니다. 마찬가지로, 합의 데이터는 AI의 최상의 데이터 원료가 되어 AI가 다양한 유효 정보를 학습하고 처리할 수 있게 합니다.