IOSG Ventures: 저장에서 컴퓨팅까지, 탈중앙화 저장소 부흥

작성자: Leo, IOSG Ventures

개요:

• Arweave 프로토콜 설계는 기술적으로 영구 저장의 구현을 보장하며, NFT 메타데이터와 같은 고가치 디지털 자산의 저장에 더 적합하다.

• 데이터 저장 위에 더 많은 계산이 필요하다. 스마트 계약과 프로그래머블성의 도입으로, 탈중앙화 데이터 저장 네트워크의 발전은 "단순한 저장"의 새로운 단계로 들어섰다.

• 저장 데이터의 중복성을 실현하기 위해, Filecoin은 경제적 인센티브 수단을 사용하고, Arweave는 프로토콜 설계를 활용한다.

• FVM은 Filecoin에 저장 금융을 가져오며, 저장 공간과 시간을 상품화하여 사용자가 비용을 미리 잠글 수 있게 하고, 저장 공급자는 자금을 미리 회수할 수 있으며, 원거리 수요에 따라 재고, 하드웨어 및 운영을 계획하고 관리할 수 있다.

컴퓨터 네트워크 발전의 주류는 데이터 계산, 전송, 저장 세 가지 방향으로 나뉜다. Web3 발전이 오늘날에 이르렀고, 탈중앙화 데이터 저장 프로토콜의 발전은 눈에 띄게 진행되고 있다. Filecoin은 2023년 3월 14일 2,683,348 Epoch 높이에서 EVM 호환 Filecoin Virtual Machine (FVM)을 메인넷에 공식 출시하여 스마트 계약과 프로그래머블성을 Filecoin 네트워크에 도입하였고, 탈중앙화 데이터 저장 프로토콜의 발전은 "단순한 저장"의 새로운 단계로 들어섰다.

탈중앙화 데이터 저장 프로토콜은 많지만, 가장 주목받는 것은 Filecoin과 Arweave이다. FVM 출시로 Filecoin에 부여된 새로운 특성에 대해 본문에서 하나하나 논의할 것이다.

영구 저장 Perpetual Storage

영구 저장은 Web3에서 특별한 의미와 수요가 있으며, NFT 메타데이터와 같은 고가치 디지털 자산은 영구적으로 저장되어야 한다.

Filecoin은 FVM 출시 이후 영구 저장(Permanent Storage)의 특성을 강조하였다. 우리가 이해하는 Filecoin의 영구 저장은 경제적 수단을 통해 이론적으로 장기 저장을 실현하는 것이지만, Filecoin 프로토콜 설계 측면에서는 큰 변화가 없다. Filecoin의 현재 설계에서 저장 주문은 저장 공급자와 저장 수요자 간의 오프체인 매칭을 통해 온체인에 기록되며, 주문에 포함된 정보는 데이터 크기, 저장 시간, 주문 가격 및 담보물이다. 저장된 데이터가 주문에서 정의된 저장 시간이 만료된 후에도 계속 저장되기를 원한다면, 저장 수요자는 수동으로 업데이트 주문을 제출해야 한다. 그러나 FVM 출시 이후, 주문은 온체인에서 자동 갱신될 수 있다. Lighthouse는 Filecoin에서 영구 파일 저장을 실현하기 위해 노력하는 프로젝트로, 사용자는 한 번만 비용을 지불하면 파일을 "영구적으로" 저장할 수 있다. Lighthouse는 스마트 계약 기반의 기부 풀(endowment pool)을 통해 파일의 지속적인 저장 비용을 지불한다. 사용자가 주문을 생성하고 비용을 지불할 때, 금액의 일부는 저장 공급자에게 전달되고, 나머지는 기부 풀로 들어간다. 기부 풀 스마트 계약은 주문이 만료될 때 자동으로 갱신하고 기부 풀의 금액으로 비용을 지불하여 "영구 저장"을 실현한다. 이 설계의 실행 가능성은 기부 풀이 스테이킹, 농사(farming) 등의 방법으로 풀 내 자산 가치를 증가시키는 데 있다. 시간이 지남에 따라 증가된 부분이 저장 비용을 충분히 충당할 수 있다. 이는 Arweave 백서에서 저장 비용에 대한 가정과 유사하며, 즉 저장 요율이 지속적으로 하락하고, 저장 수요자가 지불한 금액의 증가가 영구 저장 비용을 충당할 수 있다는 것이다.

"지난 50년 동안, 저장 요율은 연평균 30.57% 하락하였다."

Arweave Yellow Paper: 1980년 이후 1GB 데이터를 1시간 저장하는 비용 (로그 스케일)

Arweave는 일반적인 블록체인 데이터 구조 위에 Blockweave라는 설계를 도입하여, 프로토콜 설계를 통해 데이터가 영구적으로 저장될 수 있도록 한다. Blockware에서 체인상의 각 블록(최신 확인 블록과 현재 채굴 중인 후보 블록을 제외하고)은 각각 이전 블록, 다음 블록 및 소환 블록(recall block)과 연결된다. 특정 높이의 블록에 대해, 소환 블록은 Blockweave에서 해당 높이 블록 이전의 임의의 역사적 블록이 될 수 있다. 채굴자가 새로운 블록을 채굴할 때, 소환 블록의 선택은 이전 블록의 높이와 해시로 무작위로 결정된다. 소환 블록은 Arweave에서 채택한 합의 메커니즘인 무작위 접근 간결 증명(Succinct Proof of Random Access --- SPoRA)에서 중요한 역할을 한다. Arweave에서는 채굴자가 모든 역사적 블록을 저장할 필요가 없지만(즉, 모든 역사적 블록을 저장하는 것이 채굴 참여의 필요 조건이 아니다), 채굴자는 무작위로 선택된 소환 블록을 로컬에 저장해야 하며, 이는 채굴자가 후보 새로운 블록 채굴에 참여할 수 있는 입장권이 된다. 소환 블록은 역사적 특정 블록의 내용을 저장하고 있는지 무작위로 점검하는 기능을 하여 역사적 데이터의 영구 저장을 실현한다.

Arweave의 영구 저장은 프로토콜 설계에 따라 기술적으로 보장되며, Filecoin의 영구 저장보다 더 견고한 솔루션이다. 이는 Web2 기술 대기업인 Meta, Instagram 및 Web3 애플리케이션인 Mirror가 Arweave를 NFT 및 콘텐츠 저장 솔루션으로 선택한 주요 이유이다.

탈중앙화 계산 Decentralized Computation

데이터가 저장되었으니, 더 중요한 것은 사용이다. Filecoin과 Arweave의 비전은 단순히 "탈중앙화 클라우드 스토리지"에 그치지 않으며(현재 대부분의 저장 수요자는 단순히 이를 위해 사용하고 있지만), 저비용 저장과 높은 처리량 계산을 갖춘 블록체인 프로토콜이 되어야 한다. 데이터 저장 위에 Web3 Dapps는 계산이 필요하다.

Filecoin과 IPFS는 전 세계에 분포된 저장 공급자 간에 콘텐츠 주소 지정(content-addressed) 데이터 세트를 배포하여 데이터의 중복성과 탄력성을 증가시킨다. 이러한 탈중앙화 데이터 분포는 비용, 가용성 및 신뢰성의 이점을 가져오지만, 그에 따른 문제는 개별 데이터 세트의 각 부분이 지리적으로 멀리 떨어진 여러 저장 공급자에 저장된다는 것이다. 광범위하고 분산된 데이터 세트는 데이터 위에서 계산이나 쿼리 인덱스 작업을 수행하는 데 불리하다. 그러나 고도로 분산된 데이터를 중앙으로 다시 조합하여 계산하는 것은 비용이 많이 들고 낭비적이며 성능이 낮고 탈중앙화 저장 원칙에 반한다. Filecoin의 EVM 호환 FVM은 엣지 컴퓨테이션(edge computation)과 온체인 조정 실행 계산의 솔루션을 제안한다. FVM의 계약은 계산 자원을 중개하고, 계산 실행을 유도하며, 가용한 저장 공급자 간에 작업 부하를 분배하고, 계산 결과의 유효성을 증명하여 보상을 받을 수 있다. 저장 공급자는 FVM 계약을 통해 탈중앙화 계산 네트워크에 참여하도록 등록할 수 있다. 계산 클라이언트는 계약에 계산 작업을 게시한다. 계약에서 정의된 메커니즘은 계산 작업을 등록된 저장 공급자에게 할당하며, 계산이 완료되면 저장 공급자는 보상을 받기 위해 증명을 게시한다.

Arweave의 탈중앙화 계산은 SmartWeave 스마트 계약 프로토콜을 통해 구현되며, 풍부한 데이터를 직접 처리할 수 있는 능력을 갖추고 있다. SmartWeave와 다른 블록체인 스마트 계약 프로토콜의 주요 차이점은 "Lazy Evaluation (지연 계산)"으로, 스마트 계약 실행 계산의 부담을 네트워크 노드에서 스마트 계약 사용자에게 전가한다. 지연 계산의 이점은 명백하다. 저장과 계산을 분리함으로써, 노드는 지속적으로 증가하는 전역 상태를 저장할 필요가 없다. 스마트 계약은 사용될 때만 사용자가 최신 상태를 계산하고 검증할 수 있으며, 온체인 합의에 참여하는 모든 노드가 계산하고 검증할 필요가 없다. 계산을 사용자에게 위임함으로써 블록체인의 확장성도 향상된다. Warp는 SmartWeave 초기 버전을 기반으로 한 Warp SDK를 개발하였으며, 원래 버전보다 성능과 모듈화 수준이 향상되었고, 다양한 실행 환경을 허용한다.

Warp는 최근 2023년 로드맵을 발표하였으며, 개발 목표는 다음과 같다:

1) Layer1 동기화기: Warp 계약과 기본 Arweave 레이어 간의 효율적인 동기화 구현;

2) Layer2 정렬기: 데이터를 Arweave 메인넷에 직접 전송하는 대신(Warp 정렬기를 통해 데이터 거래가 이루어지며, 거래는 Bundlr 네트워크를 통해 즉시 결제되어 사용자에게 데이터의 즉각적인 접근과 거의 즉각적인 최종 확정성을 제공한다);

3) 계약 강화 개선: Warp 계약은 Web3 Dapps에 기능이 완전한 기술 스택을 제공하여 Web2 서비스와 경쟁할 수 있도록 한다;

4) 위임 해석 환경(Delegated Resolution Environment) 및 집계 노드 개발: 위임 해석 환경은 고상호작용 및/또는 안전하지 않은 계약에 대한 계산 위임을 허용하며, 집계 노드는 계약 상태 정보의 모니터링 및 통찰력을 제공한다.

저장 중복성 Storage Redundancy

탈중앙화 데이터 저장 네트워크는 단일 실패 지점을 피하지만, 각 노드/각 저장 공급자가 저장 수요자의 업로드 데이터를 실제로 유효하게 저장하고 있는지를 어떻게 보장할 것인가? 여러 노드/저장 공급자가 각각 업로드 데이터를 저장하여 저장 중복성과 신뢰성을 실현할 수 있도록 하는가? Filecoin과 Arweave는 서로 다른 솔루션을 채택하였다. Filecoin은 경제적 인센티브 수단을 사용하고, Arweave는 프로토콜 설계를 활용한다.

FVM 출시의 주요 사항 중에는 복제 작업자(Replication Worker)와 수리 작업자(Repair Worker)가 소개되었다. FVM 출시 이전에, 저장 수요자가 네트워크 노드에서 데이터를 백업하고 저장 공급자가 고장 날 경우 데이터를 최대한 저장할 수 있는 확률을 높이기 위해서는, 수요자는 복잡하게 공급자와 오프체인에서 N회의 주문을 매칭하고 N회의 온체인 거래를 실행하며, N회의 데이터를 전송하는 데 많은 자원을 소모해야 했다. FVM 출시 이후, 데이터 복제 작업자는 중개자로서 소량의 수수료만 받고 데이터 중복성을 실현하여 저장 수요자의 시간과 비용을 절약한다. 복제 작업자는 수요자가 선택한 백업 수량, 저장 지리적 영역, 지연 요구 사항, 가격 범위 등의 조건에 따라 Filecoin 네트워크에서 자동으로 저장 주문을 매칭하고 생성한다. 데이터 수리 작업자는 수요자의 대리인으로서 저장 데이터가 손실되거나 만료되었는지를 모니터링하고, 수요자의 설정에 따라 중복 임계값 이하의 데이터를 자동으로 더 많은 저장 공급자에게 복제하여 백업하며, 만료되거나 종료된 저장 주문을 수요자를 대신하여 업데이트할 수 있다.

Arweave의 저장 중복성은 프로토콜 설계에 따라 자연스럽게 실현된다. Arweave는 소환 블록을 무작위 접근 간결 증명(SPoRA) 작업량 알고리즘 입력의 일부로 사용하여, 새로운 블록을 채굴한 채굴자가 실제로 소환 블록의 모든 데이터를 저장하고 있음을 보장한다. SPoRA 합의 메커니즘은 채굴자가 자신의 저장 공간 능력 범위 내에서 가능한 한 많은 역사적 블록과 Blockweave 데이터를 저장하도록 장려한다. 그러나 채굴자의 저장 능력이 모든 역사적 블록과 완전한 Blockweave 데이터를 저장하기에 부족할 경우, 채굴자는 다른 채굴자가 적게 저장한 블록을 우선적으로 저장하게 된다. 왜냐하면 많은 채굴자가 저장한 소환 블록이 선택될 경우, 많은 채굴자가 동시에 새로운 블록 채굴 경쟁에 참여하게 되기 때문이다. 반면에 적게 저장된 소환 블록이 선택될 경우, 경쟁은 상대적으로 적어진다. 또한 소환 블록의 선택은 매우 무작위적이기 때문에, 어떤 소환 블록이 선택될 확률은 이산 균등 분포를 따른다. 따라서 저장 능력이 제한된 상황에서, 합리적인 채굴자는 적게 저장된 블록을 우선적으로 저장하여 새로운 블록을 채굴할 확률을 높이고 블록 보상을 얻어야 한다. Arweave의 프로토콜은 정교한 설계와 경제적 인센티브를 통해 blockweave와 모든 역사적 블록이 전체 네트워크의 모든 채굴자 저장 능력 범위 내에서 최대한 백업될 수 있도록 하여 Arweave의 탈중앙 저장 네트워크의 신뢰성과 데이터 중복성을 보장한다.

데이터 검색 Data Retrieval

데이터가 저장되었으니, 어떻게 효율적이고 정확하며 빠르게 데이터를 검색할 것인가가 또 다른 문제이다.

Filecoin의 데이터 검색 서비스는 별도의 경제적 인센티브 시스템이다. 검색 공급자(Retrieval Provider)는 저장 수요자에게 데이터에 대한 빠른 접근을 제공하는 역할을 한다. 검색 공급자는 데이터에 대한 빠른 접근에 집중하며, 장기 저장에는 집중하지 않는다. 대부분의 저장 공급자는 동시에 검색 공급자이기도 하다. 수요자는 검색 공급자에게 비용을 지불하여 데이터를 얻는다. Filecoin 생태계에는 retrieval.market 및 Saturn Network와 같은 프로젝트가 이미 데이터의 빠른 검색 및 콘텐츠 배포를 실현하고 있다.

Arweave의 SPoRA 합의 메커니즘은 앞서 언급한 영구 저장 및 저장 중복성의 장점 외에도 데이터 검색 및 접근 속도를 향상시킨다. SPoRA로 업그레이드되기 전, Arweave의 접근 증명(Proof-of-Access --- PoA) 구형 합의 메커니즘은 채굴자가 가능한 한 많은 데이터를 저장하도록 유도하는 문제를 해결했지만, 채굴자가 저장된 데이터를 빠르게 검색하도록 유도하지는 않았다. 사실, PoA 시대에 채굴자들은 저장 자원을 모아 저장 풀을 만들었고, 저장 풀에는 역사적 블록이 저장되었다. 특정 소환 블록이 선택되면, 저장 풀은 채굴자가 요청할 때 해당 소환 블록의 내용을 채굴자에게 전송한다. 이는 네트워크의 탈중앙화에 불리하다. Arweave 네트워크는 전체 해시 계산력이 증가하는 동시에 노드 수가 감소하는 현상이 발생한 적이 있으며, 이는 저장 풀의 존재를 간접적으로 증명한다. 이 문제를 해결하고 각 채굴자가 로컬에 데이터를 저장하도록 유도하기 위해, Arweave는 PoA를 SPoRA로 업그레이드하였다. SPoRA로 업그레이드된 후, 로컬에 역사적 블록 데이터를 저장하지 않는 채굴자는 저장 풀에 소환 블록을 요청하고 전송해야 하며, 데이터 전송 비용과 시간이 크게 증가한다. 반면에 로컬에 역사적 블록 데이터를 저장한 채굴자는 새로운 블록을 채굴할 확률이 높아진다. 메커니즘 설계에서 저장 풀의 존재를 차단하였다. 전 세계에 분포된 채굴자 노드가 로컬에 역사적 블록 데이터를 저장함으로써, 저장 수요자의 데이터 검색 및 접근 속도도 향상된다.

저장 금융 Financialization

FVM의 출시와 함께 Filecoin에서는 DeFi를 포함한 다양한 Web3 애플리케이션을 도입할 수 있게 되었다. 예를 들어 스테이킹 프로토콜, 보험 프로토콜, 저장 파생상품 등이 있다. Filecoin의 저장 공급자는 저장 서비스를 제공하기 위해 일정량의 FIL을 담보로 제공해야 하며, 과거에는 저장 공급자가 FIL을 구매하기 위해 자금을 모으거나 오프체인 대출 계약을 통해 FIL을 빌려야 했다. 그러나 FVM 위에 구축된 스테이킹 프로토콜을 통해 FIL 토큰 보유자는 유휴 FIL을 프로토콜에 예치하고 규칙과 조건을 설정할 수 있으며, 임의 규모의 저장 공급자는 이러한 규칙과 조건에 따라 온체인에서 충분한 담보량의 FIL을 조달하여 저장 서비스를 시작할 수 있다. 저장 파생상품은 또 다른 흥미로운 애플리케이션 시나리오로, 동적인 저장 비용은 저장 수요자와 저장 공급자 모두에게 예산 조정의 도전을 가져온다. 저장 공간과 시간을 상품화(commoditize)하여, 저장 수요자는 저장 비용을 미리 잠글 수 있으며, 저장 공급자는 자금을 미리 회수할 수 있고, 원거리 수요에 따라 재고, 하드웨어, 운영 및 재무를 미리 계획하고 관리할 수 있다.

프로젝트定位과 현황

Filecoin은 현재 전체 네트워크에 3,678개의 노드가 약 19.544EiB의 저장 공간을 제공하고 있으며, Arweave는 전체 네트워크에 112개의 노드가 실제로 125.62TiB의 데이터를 저장하고 있다. 규모 면에서 Filecoin 네트워크가 더 크지만, Filecoin과 Arweave는 모두 탈중앙화 데이터 저장 프로토콜이지만, 서로 다른定位을 가지고 있어 단순히 네트워크 노드 수나 규모로 비교할 수 없다.

Protocol Labs는 Filecoin을 Storage Marketplace와 Incentive layer로定位하고, Filecoin을 중심으로 완벽한 저장 시장, 검색 시장, 금융 제품 등을 구축하였으며, 경제적 인센티브 설계를 통해 영구 저장, 저장 복제 및 수리 등의 풍부한 제품 기능을 실현하고, 최대 및 가장 중요한 탈중앙화 데이터 저장, 배포, 계산 프로토콜이 되기 위해 노력하고 있다. Arweave의 가장 중요한定位은 데이터를 영구적으로 저장하는 것이며, 가장 기본적인 Arweave를 기반으로 스마트 계약 프로토콜을 개발하여 데이터에 대한 계산을 실현하는 것이다. 모든 메커니즘 설계는 이 가장 중요한 목표를 위해 서비스된다. 앞서 언급한 몇 가지 특성에서 Arweave의 설계가 정교하고 통일적임을 쉽게 이해할 수 있다.

전망

이더리움 생태계와 이더리움 가상 머신의 급속한 발전에 비해, 탈중앙화 데이터 저장 네트워크의 발전은 지난 몇 년간 다소 평범하게 느껴진다. Filecoin과 Arweave 생태계에는 많은 훌륭한 프로젝트와 기업가가 있지만, 현재 Web3 Dapps의 저장 솔루션은 Filecoin 및/또는 Arweave를 대규모로 채택하지 않고 있으며, 많은 Dapps는 여전히 Web2 저장 솔루션에 의존하고 있다. 저장을 위한 블록체인에서 계산을 수행하는 것은 새로운 경로이며, FVM이나 SmartWeave 모두 개발자가 전례 없는 탈중앙화 애플리케이션을 잠금 해제할 수 있는 잠재력을 가지고 있다. 개발자나 사용자로서 어떤 탈중앙화 저장 프로토콜을 사용할지는 이분법적인 문제가 아니라, 애플리케이션과 콘텐츠의 저장 요구에 따라 선택해야 한다. Filecoin과 Arweave의定位은 겹치는 부분이 있지만, 각자의 독특한 점에서 발전하여 지속적으로 진화하는 탈중앙화 네트워크 저장 요구를 충족하고, "탈중앙화 클라우드 스토리지"에서 탈중앙화 서버로의 비전을 실현할 수 있다.