2022 년말 요약: 탈중앙화 저장의 현황과 미래

저자: Jason, Puzzle Ventures

TL; DR

• 비핵심 데이터를 메인 체인에서 분리하여 DSN(탈중앙화 저장 네트워크)에 저장하는 것이 확장성 문제, 상호 운용성 향상 및 개인 정보 보호를 해결하기 위한 주류 솔루션이 되었다.

• Filecoin은 채굴자 네트워크와 저장 비용에서 큰 이점을 가지고 있지만, Arweave의 영구 저장은 NFT 또는 소셜 애플리케이션에 더 신뢰할 수 있는 솔루션을 제공할 수 있다.

• L1 확장 저장 네트워크는 DSN보다 높은 상호 운용성을 제공할 수 있는 새로운 솔루션을 제공할 수 있지만, 여전히 검증 시간이 필요하다.

• 미래의 탈중앙화 저장 시나리오는 완전한 상호 운용성, 데이터 가용성, 보안성 및 미들웨어와 API를 통해 사용자/개발자 친화적인 오프체인 계산을 제공하는 것을 포함할 것이다.

탈중앙화 저장의 발전 과정

데이터 저장 분야는 항상 기술계 발전의 기초이자 주요 관심 분야였다. 아마존, 마이크로소프트, 알리바바 등에서 중앙화 클라우드 저장 서비스를 제공한 이후, 클라우드 저장 시장은 2021년 기준으로 1000억 달러 이상의 시장 규모를 형성하였고, 두드러진 헤드 효과를 보인다(아마존 40%, 마이크로소프트 22%, 알리 클라우드 10%, 데이터 출처: Gartner). 그러나 Web3의 폭발과 함께, 전통적인 클라우드 저장 시장이 충족하지 못하는 수요를 충족시키기 위해 여러 탈중앙화 저장 공급자가 등장하기 시작했다.

현재 대부분의 dApp이 여전히 AWS에 배포되고 있으며, 이더리움의 노드도 merge 이전에 50% 이상이 AWS에서 운영되고 있지만[1], Web3 프로젝트는 백엔드와 메타데이터를 탈중앙화 저장과 연결하는 것의 중요성과 필연성을 점차 인식하고 있다. Ethereum.org의 정의에 따르면, 탈중앙화 저장은 p2p 네트워크로 구성된 시스템으로, 각 운영자가 전체 데이터의 일부를 소유하고 알고리즘을 통해 복원할 수 있는 데이터 공유 시스템이다[2].

탈중앙화 저장은 데이터 개인 정보 보호, 검열 저항 등 여러 문제를 해결할 수 있지만, 현재의 탈중앙화 시스템 발전은 아직 미성숙하며 해결해야 할 많은 문제들이 있다. (주)체인 상의 저장 솔루션을 지속적으로 시도한 결과, DSN(탈중앙화 저장 네트워크)이 현재의 주류 솔루션이 되었으며, 이 솔루션은 저장 용량을 거의 무한에 가깝게 확장할 수 있으며, 데이터의 안전성과 개인 정보 보호를 보장할 수 있다.

표1 블록체인 데이터 저장 솔루션 비교

구체적인 체인 상 확장 솔루션은 다음의 글을 참조할 수 있다: https://zhuanlan.zhihu.com/p/48078642

필자는 오프체인 저장 계층이 결국 Web3 생태계의 중요한 기반 시설이 될 것이며, 핫 스토리지와 콜드 스토리지 방식을 통해 모든 프로토콜 계층 및 실행 계층의 데이터 저장 문제를 해결할 것이라고 생각한다.

미래에는 "불가능한 삼각형"의 확장성 문제를 저장 계층을 완전히 분리하되 상호 운용성을 유지하는 방식으로 해결하고, 콜드 스토리지 계층 위에 구축된 미들웨어, API 등의 서비스를 통해 데이터 계산, 호출, 푸시의 효율성을 높일 수 있을 것이다.

탈중앙화 저장의 발전 현황: 분류 및 규모

탈중앙화 저장은 본질적으로 Web3 생태의 애플리케이션 계층에 서비스를 제공하므로, 솔루션은 최종 사용자 요구를 충족하는 데 더 중점을 두고 있으며, 즉 더 효율적이고 저렴한 방식으로 데이터 저장, 계산 및 호출 요구를 수행하는 것이다. 분류 측면에서 Arweave, Filecoin 및 Storj는 독립적인 세 개의 주요 탈중앙화 저장 네트워크를 형성하였으며, Filecoin과 Storj는 더 탈중앙화된 P2P 저장 네트워크이고, Arweave는 더 밀접하게 조직된 저장 노드 네트워크이다.

한편, 다양한 유형의 저장 집합 네트워크는 사용자 비용 최적화, 저장 편의성 등의 요구를 충족시키기 때문에 점차 더 매력적인 게이트웨이가 되고 있지만, 여전히 Arweave 또는 Filecoin 위에 구축되어 있다. 또한 EthStorage를 대표로 하는 L1 확장 네트워크는 주 체인 DA 계층을 직접 호출할 수 있으며 추가적인 계산 능력을 제공하는 설계에 집중하고 있다.

(주: 그림에 나열된 프로젝트는 기존 프로젝트와 신규 프로젝트를 중심으로 하며, 과거 프로젝트는 포함하지 않는다)

출처: Puzzle Ventures

또한, 기본 저장 네트워크 위에 구축된 독립적인 계산 네트워크와 조정형 미들웨어도 탈중앙화 저장 생태의 보완 부분이지만, 생태 dApp에 중점을 두고 있어 본문에서는 자세히 논의하지 않는다.

발전 규모 측면에서 Filecoin은 수익, FDV 및 시장 점유율 측면에서 모두 압도적으로 앞서 있으며, 사용자 저장 사용률도 계속 증가하고 있다. 그러나 300만 달러 이상의 분기 수익은 Web2 또는 Web3 분야에서 많다고 할 수 없으며, 거의 독점적인 상황에서도 그렇다. 따라서 전체 탈중앙화 저장 분야는 여전히 큰 발전 가능성을 가지고 있다.

표2 탈중앙화 저장 Q3 2022 수익 및 규모

출처: Messari, Web3 Index, CoinGecko

Arweave와 Storj의 분기 수익은 여전히 10만 달러 수준에 불과하며, 이는 하루 수익이 천 달러 이상에 불과하여 그들이 가져야 할 시장 규모에 미치지 못하고 있다. 그 이유는 한편으로는 불황으로 인한 전체 시장 침체와 관련이 있으며, 다른 한편으로는 현재의 DSN 저장 솔루션이 Web3와 완벽하게 일치하는 전환점에 도달하지 못했기 때문이다. 미래에는 전체 DSN 시장이 한편으로는 더 많은 미들웨어와 집합체가 사용자 트래픽을 제공해야 하며, 다른 한편으로는 스스로의 비용과 가치를 지속적으로 조정하고 최적화해야 할 것이다.

주류 솔루션: Filecoin과 Arweave 비교

1) 기능성

현재 단계에서 Filecoin과 Arweave는 서로 다른 기술 아키텍처를 채택하고 있어 기능성에서 차이를 보인다. Fundamental Labs[3]의 연구 보고서에 따르면, 우리는 기능성 평가 프레임워크를 다음과 같이 정의한다: 저장 범위의 유연성, 저장의 영구성, 중복 방지 능력, 데이터 저장의 인센티브, 저장 데이터의 보편성, 데이터의 가용성. 어느 정도에서 Arweave와 Filecoin은 상호 보완적인 솔루션이다: Arweave는 데이터 저장의 영구성과 안정성에 더 중점을 두며, 메타데이터 및 역사적 데이터에 더 적합하다; 반면 Filecoin은 더 유연한 저장 솔루션(저장 시간, 종류)을 제공할 수 있어 개인 및 비핵심 데이터 저장에 더 적합하다.

출처: Fundamental Labs

최신 기술 발전 과정에서 Filecoin version 17 "Shark"는 저장 프로토콜의 프로그래머블성을 구축하였으며, 저장 계층에 스마트 계약의 상호 작용 계층을 추가하고 내년 2월에 FEVM 시스템을 출시할 계획이다. Filecoin의 데이터 가용성과 활성도는 향상될 것이며, 더 다양한 상호 운용성을 지원할 수 있을 것이다. 이는 Filecoin이 Arweave에 비해 유연성의 장점이기도 하다. Arweave는 여전히 데이터 안전성, 노드 인센티브 안정성(기부) 및 저장 진입점에서 발전하고 있으며, 영구 저장이라는 개념에 대한 "신념 충전"을 지속하고 있다. 따라서 어떤 솔루션이 더 우위에 있다고 단언하기는 어렵지만, 어쨌든 이 두 탈중앙화 저장 프로토콜은 탈중앙화 저장의 기본 요구를 충족하기 위해 기능적으로 비교적 완벽하게 발전해왔다.

2) 비용

마찬가지로, Filecoin과 Arweave의 비용을 직관적으로 비교하기는 어렵다. 본문에서는 두 가지의 비용을 가능한 한 합리적인 방식으로 인식할 수 있도록 하려 한다. 데이터 비교 가능성을 형성하기 위해, 본문에서는 200년 저장 시간 동안 동일한 저장 크기의 가격을 비교 대상으로 삼는다(Arweave는 일반적으로 200년 저장을 지원할 수 있다고 여겨진다).

표3 클라우드 저장 비용 비교 (데이터는 2022년 12월 기준)

출처: Amazon.com, Arweavefees.com, File.app, Filfox.info

표3에서 볼 수 있듯이, AWS의 가장 기본적인 S3 Standard 패키지의 가격은 약 $0.023 per GB per month로, 200년 저장 시 $55.2 per GB가 필요하다. 반면, 장기 콜드 저장에 더 적합한 Glacier Deep Archive 솔루션은 가격을 $2.38 per GB로 낮출 수 있지만, 매년 아카이브 횟수에 제한이 있다. Arweave는 AR 토큰의 가격 변동에 따라 다양한 가격을 생성하며, 2022년 12월의 가격은 $1.42 per GB로, 즉 약 5년 저장 후 S3 standard의 저장 비용과 비슷해질 수 있다.

한편, Filecoin의 가격 계산은 복잡하다. 왜냐하면 서로 다른 채굴자가 제공하는 가격이 다르며, FIL 토큰 가격, 저장 시간 및 데이터 호출 빈도가 가격에 영향을 미치기 때문이다. 그러나 어쨌든 Filecoin의 저장 비용은 Arweave와 S3에 비해 여러 수치적 차원에서 저렴하여 사실상 제로 비용 저장으로 간주될 수 있다.

하지만 가격이 가장 주요한 요소인가? Arweave의 영구 저장은 Web3에 더 큰 의미를 가진다. 예를 들어, NFT가 메타데이터와 이미지 데이터를 잃어버리면 즉시 가치를 잃고 열 수 없는 링크가 된다. 반면 Filecoin의 저장 프로토콜에서는 지나치게 탈중앙화된 관리 방식으로 인해 Garbage Collection의 위험이 발생할 수 있다. 즉, 저장 파일의 노드에서 특정 문서에 별표가 없으면 삭제될 위험이 있다.

또한, Filecoin 저장 시간이 만료되면 저장 제공자를 업데이트해야 하며, 이 과정에서도 위험이 발생할 수 있다. 반면 Arweave는 AR의 인센티브 메커니즘을 통해 노드가 200년 동안 데이터를 저장하도록 장려하며, AR의 미래 가치 하락에 대한 보상 인센티브를 제공하고, 저장 과정에서 주기적인 무작위 검사를 통해 노드가 여전히 데이터를 완전하게 저장하고 있는지 확인한다. 이러한 조치는 모든 노드가 완전한 저장 데이터를 통해 인센티브를 받을 수 있도록 보장하며, 저장된 데이터의 안전성과 신뢰성을 보장한다. 해킹 사건이 빈발하는 Web3 세계에서 데이터 저장의 신뢰성이 가져오는 가치는 단순한 저장 가격으로 측정할 수 없다.

3) 생태계

탈중앙화 저장의 생태계에는 채굴자/노드와 생태 dApps가 포함된다.
표4 Filecoin과 Arweave의 생태 데이터 비교

출처: Filscan.io, Messari

Filecoin은 커뮤니티 구축이 빨랐고 관심도가 높아 현재 저장력은 약 18.9EB로 Arweave의 17만 배에 달한다. 그러나 Arweave는 3년 이상의 발전 기간 동안 Filecoin보다 2.5배 높은 저장력 성장률을 형성하였으며, Filecoin의 성장률은 사실상 안정적인 직선에 가까워졌다. 시가총액 측면에서 Arweave의 현재 FDV는 Filecoin의 약 40%로, Arweave가 미래에 Filecoin의 저장력 생태를 빠르게 추격할 것이라고 판단할 수 있다.

Filecoin이 올해 11월 발표한 미래 계획[4]에 따르면, Filecoin은 앞으로 계산 및 더 넓은 범위의 데이터 온보딩이라는 두 가지 요구를 충족하는 데 전념할 것이며, 진정으로 Web3 세계의 Layer 0이 될 것이다. 저장력 확장의 관점에서 Filecoin은 FIL+ 및 ESPA Bootcamps와 같은 인센티브 프로그램을 통해 더 많은 채굴자가 노드 구축에 참여하도록 촉진할 것이다.

데이터 온보딩 및 계산 측면에서 Filecoin은 NFT 메타데이터, Web2 데이터 소스 등과 같은 구체적인 세분 시장에 주목하고, Filecoin Virtual Machine을 통해 체인 상의 계산 능력을 구축하여 이러한 데이터를 더 편리하게 사용할 수 있도록 할 것이다. 최신 Filecoin 제안(FIP-0044, FIP-0045)에서도 데이터 온보딩이 현재의 발전 초점임을 알 수 있다.

반면 Arweave의 최신 2.6 버전[5]에서는 비용 절감 및 효율성 증대에 주목하고 있으며, 하드웨어 반복 등을 통해 전체 저장 비용과 저장 가격을 낮추고 데이터 저장 및 호출의 효율성을 높이고자 한다. 따라서 Arweave는 더 나은 기본 환경을 구축하여 더 많은 개발자와 사용자를 유치하고, 생태 프로젝트를 통해 게이트웨이, 계산 등과 같은 추가적인 사용 사례를 충족시키고자 한다.

따라서 Filecoin의 논리는 대통합, 저장 비즈니스에 집중하고 채굴자 생태계에 의존하는 탈중앙화 저장 네트워크를 제공하는 것이고, Arweave는 표준 Web3 생태계처럼 보인다. 기본 아키텍처와 인센티브 메커니즘을 제공하여 개발 및 사용자 친화적인 환경을 조성하고, 사용자 수와 dApp 수의 유기적 성장을 실현하고자 한다.

생태 프로젝트 측면에서 Arweave는 Bundlr, Kyve, ArDrive, KwilDB 등 기술 최적화, 저장 진입점, 애플리케이션 확장 방향의 우수한 프로젝트를 이미 육성하였으며, 대부분의 프로젝트 책임자는 젊은 기업가들로 구성되어 있어 발전 잠재력이 크다. Filecoin의 생태 프로젝트 수는 기초가 큰 장점을 가지고 있으며, Filecoin 생태는 더 넓은 저장 관련 요구를 충족할 수 있는 오픈 소스 환경처럼 보이지만, 특별한 발전 방향은 없다.

신규 솔루션: 집합 네트워크와 L1 확장 네트워크

1) 집합 네트워크

집합 네트워크의 개념은 사실 Filecoin이 출시될 때부터 존재했으며, 예를 들어 Coldstack와 같은 초기 프로젝트가 있다. 그러나 Coldstack는 큰 성공을 거두지 못했으며, 그 이유는 순수하고 Uber 스타일의 집합기가 저장 효율성을 실제로 높이지 못했기 때문이다. 저장 프로토콜의 집합 네트워크는 사용자 저장 효율성과 비용 문제를 해결할 수 있지만, 접근 방식은 다양할 수 있다.

우선, 이러한 집합 네트워크는 Filecoin과 Arweave 자체의 게이트웨이보다 더 나은 성과를 내야 시장에서 인정받을 수 있다. Filecoin이 FVM 체인 상의 계산 방향으로 발전함에 따라, Filecoin 위에 구축된 추가적인 계산 능력을 제공하는 집합 네트워크가 사라질 가능성이 높다. 둘째, 서로 다른 집합 프로토콜은 Filecoin 또는 Arweave가 본질적으로 해결하기 어려운 문제를 해결해야 하며, 대통합의 집합 트래픽 진입점이 되어서는 안 된다(최소한 초기 진입점은 아니다). 왜냐하면 대통합의 트래픽 진입점은 궁극적으로 Filecoin과 Arweave가 통제하게 될 것이기 때문이다.

Jackal은 Filecoin 위에 구축되어 데이터 개인 정보 보호 및 안전성을 높이는 데 집중하는 집합기 솔루션이다. 이는 이미 저장된 파일에 대해 AES-256 암호화를 추가하는 솔루션을 제공하며, Cosmos를 통해 PoS 합의를 관리하고 요금을 부과하는 L1 체인을 구축하여 Filecoin 위에 또 다른 개인 클라우드 저장 프로토콜을 구축한 것이다.

동시에 Jackal은 Proof-of-Persistence 알고리즘을 통해 파일 복사본을 3배 제공하고, 저장 가격을 최적화할 것이다. 중복성과 비용은 탈중앙화 저장의 핵심 문제가 아니지만, 데이터 개인 정보 보호와 안전성의 향상은 Filecoin이 단기간에 달성하기 어려운 목표이다. 4EVERLAND는 Filecoin, Arweave 및 Dfinity를 기본 저장 계층으로 집합한 클라우드 컴퓨팅 플랫폼으로, dApp에 탈중앙화 저장, 계산 및 네트워크의 핵심 능력을 제공하는 데 주력하고 있으며, 기본 탈중앙화 저장 계층과 애플리케이션 계층 간의 연결 계층을 구축하고 있다.

현재로서는 Web 호스팅과 Bucket이 주요 두 가지 제품이며, 호스팅은 4EVERLAND의 전 세계 200개 이상의 게이트웨이 가속을 통해 프론트엔드 호스팅을 완료할 수 있으며, Bucket은 집합 게이트웨이이다. 이 두 제품은 사용자 친화성 측면에서 탈중앙화 저장의 실제 사용도를 크게 향상시켰으며, 다중 통화 결제, 데이터 대시보드 등 세부 최적화 문제를 해결하였다.

2) L1 저장 확장 네트워크

L1 저장 확장 네트워크는 본질적으로 기존의 Layer 2와 동일하며, L1 성능과 확장성을 향상시키기 위한 솔루션의 총칭이다. EthStorage는 저장 확장을 핵심으로 하는 첫 번째 Layer 2 솔루션으로, 주로 세 가지 기능을 포함한다: Proof of Publication, External Data Retention, Access Protocol.

Proof of Publication은 특수한 KZG Commitment와 Reed-Solomon Code를 통해 저장 데이터의 CRUD 기능을 구현하며, Filecoin과 Arweave는 현재 CRD만 수행할 수 있다. Update 기능이 추가된 후, Access Protocol과 같은 이더리움 계약 위에 호스팅된 리소스를 직접 렌더링할 수 있는 Web3 URL 기능과 결합하면 Web3 이메일, Web3 블로그, Web3 드라이브와 같은 체인 상 활동을 쉽게 구현할 수 있다. 이러한 시도는 미래의 Web3 대규모 애플리케이션에 도움이 될 것이다.

한편, EVM 호환성과 체인 상 저장의 특성 덕분에 Filecoin과 Arweave에 비해 상호 작용 경로가 더 짧아 조합 가능성이 더 높다. 예를 들어, EthStorage는 NFT의 메타데이터를 EVM 환경에 체인 상 저장하고, 스마트 계약을 통해 NFT 조합과 같은 프로그래머블성이 필요한 새로운 플레이를 구현하여 사용자 경험을 개선할 수 있다. 체인 상 데이터(대규모)의 프로그래머블성은 미래에 더 많은 새로운 DeFi, GameFi, SocialFi 애플리케이션을 파생시킬 것이다. 현재로서는 L1 저장 확장 네트워크와 DSN 네트워크가 상호 보완적이며 경쟁적이다. EVM 생태계에서 생존하고 저장 패러다임을 공식 표준으로 발전시키기 위해서는 시간이 필요하다.

미래 발전 가능성

종합적으로 볼 때, Filecoin과 Arweave는 현재까지 탈중앙화 저장의 대표적인 프로젝트가 되었으며, 탈중앙화 저장의 0에서 1까지의 과정이 기본적으로 완료되었다. 발전 이념 측면에서 비체인 핵심 데이터를 저장 계층으로 분리하는 것이 이더리움 확장의 주요 수단이 되었다.

동시에 저장 집합 네트워크와 L1 확장 네트워크는 보완 및 확장으로서 사용자들의 구체적인 요구를 더 효율적이고 저렴하게 충족시킬 수 있으며, 기본 DSN 네트워크는 여전히 해결해야 할 많은 문제들이 있다: 생태 애플리케이션이 적고, 저장과 계산이 분리되어 있으며, Web2 온보딩이 어렵다는 문제들이 DSN의 다음 성장으로 나아가는 것을 방해하고 있다. 미래에는 다음과 같은 유형의 프로젝트가 다음 성장의 엔진이 될 가능성이 있다고 판단된다:

1. DSN 집합기: 서로 다른/동일한 DSN 네트워크 위에 구축된 집합 진입점으로, 비용 최적화 선택, 통합 토큰 결제, 데이터 가용/호출 서비스 등 사용자 친화성을 높이는 도구를 제공한다. 유사 프로젝트: Lighthouse, 4EVERLAND
2. 오프체인 계산: Filecoin이 체인 상의 탈중앙화 계산을 배치하고 있지만, 순수한 체인 상 계산은 더 복잡한 계산 요구를 충족할 수 없다. 체인 상 데이터와 오프체인 계산의 종합 솔루션은 더 복잡한 계산을 완료하여 데이터의 사용 가치를 높이고 사용 사례를 확장할 수 있다. 유사 프로젝트: KwilDB, Tableland
3. L1 저장 확장 네트워크: L1 저장 및 계산 능력 확장의 장점은 L1 생태와 깊은 연결을 생성할 수 있으며, social, gaming과 같은 데이터 저장 요구가 큰 프로젝트를 충족시키고, 공식 인정을 받은 후 신속하게 대규모 통합을 실현할 수 있다. 유사 프로젝트: EthStorage
4. 제3자 데이터 안전 네트워크: 기존 DSN에 저장된 데이터의 안전을 보호하고, 저장 노드를 검토, 백업 및 해킹 공격을 차단하며, 관련 보상 보험 솔루션을 제공한다. 유사 프로젝트: Jackal

참고 문헌:
[1]https://cointelegraph.com/news/3-cloud-providers-accounting-for-over-two-thirds-of-ethereum-nodes-data
[2]https://ethereum.org/en/developers/docs/storage/
[3]https://6pjecoitbb3mbacc67rvmct3gbugplnty5ptok4rgunlo24tvq.arweave.net/89JBORMIdsCAQvfjVgp7MGhnrbPHXzcrk_TUat2uTrA
[4]https://filecoin.io/blog/posts/the-filecoin-masterplan/
[5]https://arweave.news/arweave-2-6-major-upgrade-more-data-less-energy