저자：Yang，IOSG Ventures
"수" 속에 금은 집이 있고, 체인 상의 데이터는 무한한 Alpha를 잠재하고 있습니다. 우리가 스마트 머니의 바람을 따라 움직일 때, 우리가 NFT Paradise에서 트렌딩 NFT를 찾기 위해 밤낮으로 노력할 때, 우리가 StepN의 매일 새로운 신발 민팅 데이터를 조회할 때, 이러한 데이터가 어떻게 생성되는지 궁금하지 않으신가요? 수많은 체인 상 데이터 분석 플랫폼과 복잡한 기능들 속에서, 당신은 여전히 자신에게 가장 적합한 플랫폼을 찾고 있나요?

1. 배경 소개

체인 상 생태계가 날로 번창함에 따라, DeFi 거래, 대출, NFT의 민팅 및 거래 등 사용자 행동이 체인 상에 투명하게 기록됩니다. 이러한 체인 상 행동의 데이터는 체인 상 가치의 흐름에 대응하며, 이러한 데이터 분석과 그에 따른 통찰력과 인사이트는 매우 가치 있게 됩니다. Nansen, Token Terminal, Dune Analytics, Footprint Analytics, flipsidecrypto, glassnode, Skew 등과 같은 체인 상 데이터 분석 플랫폼은 이러한 증가하는 수요에 부응하여 개인 및 기관 사용자에게 약간의 초점을 달리한 제품을 출시하고 있습니다.

본 문서에서는 체인 상 데이터 분석 플랫폼 뒤에 있는 데이터 아키텍처를 간략히 설명하여 독자에게 이러한 체인 상 데이터 분석 결과가 어디서 오는지, 어떻게 생성되는지를 알려주고자 합니다. 이후 데이터의 풍부함(블록체인 수), 데이터의 세분화, 데이터 지연, 플랫폼의 사용 용이성 및 쿼리 자유도 등의 차원에서 독자에게 시장의 주류 개인 사용자 데이터 분석 플랫폼을 정리합니다. 마지막으로 Web3의 미래 체인 상 데이터 인덱싱, 쿼리 및 분석에 대한 우리의 생각을 공유합니다.

2. 체인 상 데이터 분석 플랫폼 데이터 아키텍처 소개

블록체인은 모든 원시 거래 데이터를 기록하고 있으며, 체인 상 데이터 자체는 공개적이고 투명하지만, 우리가 "지난 24시간 동안 Uniswap의 거래량은 얼마인가?" 또는 "현재 몇 퍼센트의 BAYC 보유자가 최소 하나의 Moonbirds를 보유하고 있는가?"와 같은 질문을 제기할 때, 체인 상 원시 데이터는 우리에게 답을 주지 않습니다. 우리는 인덱싱(indexing), 처리(processing), 저장(storage) 등 일련의 데이터 수집(ingestion) 처리 과정을 통해 질문에 대한 데이터를 집계하고 계산해야만 문제의 답을 얻을 수 있습니다.

블록체인에 직접 쿼리하여 문제의 답을 찾는 것은 매우 시간과 노력이 소모됩니다. 체인 상 데이터가 빠르게 검색될 수 있도록 하기 위해, 현재 주류 체인 상 데이터 분석 플랫폼은 인덱싱된 원시 체인 상 데이터를 일련의 처리 과정을 거쳐 플랫폼이 업데이트하고 관리하는 데이터 웨어하우스(data warehouse)에 저장합니다. 사용자가 Nansen에서 스마트 머니의 거래 동향을 추적하거나 Dune Analytics에서 시각화 분석을 조회할 때, 사용자가 이른바 "체인 상 데이터"를 쿼리하는 것은 실제로 블록체인 자체가 아닌 프로젝트 측에서 중앙 집중적으로 제어하는 데이터베이스를 쿼리하는 것입니다.

체인 상 데이터 분석 플랫폼의 데이터 웨어하우스 아키텍처는 대략 다음과 같습니다:

• 데이터 수집 계층: 플랫폼은 블록체인 노드에서 원시 체인 상 데이터를 가져오며, 일부 플랫폼은 제3자가 제공하는 데이터 소스를 수용하고, 또 다른 플랫폼(예: Footprint Analytics)은 사용자가 체인 외 데이터를 업로드하여 최종 데이터 분석을 보조할 수 있도록 지원합니다.

• 데이터 처리 계층: 각 플랫폼은 원시 데이터를 스트리밍 처리 또는 배치 처리 방식으로 데이터 추출, 변환 및 로드를 수행합니다. 스트리밍 처리에서는 실시간 원시 데이터가 지속적으로 입력되고 지속적으로 처리되며, 일반적으로 데이터 지연이 낮고 분석 결과의 시의성이 높습니다. 반면 배치 처리는 데이터 지연이 다소 높고 분석 결과의 시의성이 낮지만 대용량 데이터 처리에 더 적합합니다.

• 데이터 저장 계층: 처리된 데이터는 플랫폼 측에서 미리 정의한 형식에 따라 데이터 세트의 각 데이터 테이블에 저장되어 후속 사용을 대기합니다.

• 데이터 통합 계층: 저장된 데이터는 집계 연산을 수행합니다. 계산은 미리 설정된 지표에 따라 수행될 수 있으며(metrics computation), 주기적으로(periodic) 또는 설정된 조건에 따라 트리거되는(event-driven aggregation) 방식으로 수행될 수 있습니다.

• 데이터 분석 계층: 연산 완료 결과가 실시간으로 보고되고 출력됩니다. 개인 사용자에게 있어, 우리는 주로 데이터 분석 계층에서 체인 상 데이터 분석 플랫폼과 상호작용합니다. 예를 들어 Nansen이 제공하는 비즈니스 인텔리전스 보고서 인터페이스, Dune Analytics 및 Footprint Analytics의 다양한 시각화 차트, 그리고 일부 플랫폼이 제공하는 API 인터페이스 등이 있습니다.

각 플랫폼은 자신의 데이터 웨어하우스를 구축하고 유지하기 위해 다양한 솔루션을 채택했습니다. 예를 들어 Nansen은 제3자 Google Cloud Platform을 활용하여 데이터 웨어하우스를 구축하고 유지합니다.

(https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence)

반면 Dune Analytics, Footprint Analytics, Token Terminal 등의 플랫폼은 독립적으로 자신의 데이터 웨어하우스를 구축하고 유지합니다. Footprint Analytics를 예로 들면, 그 데이터 웨어하우스 아키텍처는 다음과 같습니다.

3. 주류 체인 상 데이터 분석 플랫폼 비교

본 절에서는 콘텐츠 관점과 사용자 관점에서 데이터 풍부함(블록체인 수), 데이터 세분화, 데이터 지연, 플랫폼 사용 용이성 및 쿼리 자유도 등의 차원에서 Nansen, Token Terminal, Dune Analytics, Footprint Analytics 등 몇 가지 주류 체인 상 데이터 분석 플랫폼을 비교합니다. 일부 플랫폼은 사용자에게 표준화된 정보 보고서 인터페이스를 제공합니다. 예를 들어 Nansen, Token Terminal 등이 있습니다.

Nansen

Nansen은 아마도 여러분이 가장 잘 알고 있는 체인 상 데이터 분석 플랫폼 중 하나일 것입니다.

다른 플랫폼에 비해 가장 뛰어난 기능은 지갑 프로파일링(wallet profiler/wallet labeling)입니다. 지갑 프로파일링을 통해 다른 체인 상 데이터와 결합하여 사용자에게 매우 가치 있는 정보를 추출합니다. 예를 들어 Smart Money를 통해 사용자에게 고래 및 중증 DeFi 플레이어의 실시간 동향을 추적하는 데 도움을 줍니다. 다른 인기 제품으로는 Hot Contract, 새로운 인기 DeFi 및 NFT 계약 발견; NFT Paradise, 실시간 NFT 민팅 데이터 등을 제공합니다.

【블록체인 수】Nansen은 현재 Ethereum, Arbitrum, Avalanche, BSC, Celo, Fantom, Optimism, Polygon, Ronin, Terra, Solana 총 11개의 블록체인에 대한 체인 상 데이터 분석을 지원합니다.

【데이터 세분화】Nansen 일반 버전은 사용자에게 선별된 데이터(curated data)만 제공합니다.

【데이터 지연】스트리밍 처리 및 배치 처리. 일부 데이터 분석은 거의 실시간 보고를 구현했습니다.

【플랫폼 사용 용이성】제로 문턱

【쿼리 자유도】Nansen 일반 버전은 표준 정보 템플릿 인터페이스만 제공합니다. 기관 고객의 맞춤형 체인 상 데이터 쿼리 및 분석 요구를 충족하기 위해 Nansen은 Google Cloud Platform의 Blockchain Datasets를 활용하여 Nansen Institutions 제품을 출시하여 전문/기관 사용자가 맞춤형 요구를 충족하는 SQL 쿼리를 작성할 수 있도록 합니다.

특히 Nansen은 Nansen Research 채널에서 많은 체인 상 분석 보고서를 발표했습니다. 연구 보고서는 주요 사건에 대한 체인 상 추적 및 분석을 세밀하게 수행하며, 독자들은 이러한 보고서(예: Nansen이 지난달 stETH 탈피 사건에 대해 발표한 보고서 https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg)를 가끔 읽어보는 것이 좋습니다. 체인 상 분석 방법을 배우는 데 큰 도움이 될 것입니다.

Token Terminal

Token Terminal은 정확한 프로토콜 수익(protocol revenue)을 제공하는 것으로 유명합니다. 프로토콜 수익을 기반으로 Token Terminal은 각 프로토콜의 시가 매출 비율(P/S), 주가 수익 비율(P/E) 등의 데이터를 계산합니다. 이러한 데이터는 어느 정도 각 프로토콜에 대한 평가 기준을 제공합니다.

【블록체인 수】Token Terminal은 130개 이상의 프로토콜 데이터를 추적합니다.

【데이터 세분화】Token Terminal은 사용자에게 선별된 데이터(curated data)만 제공합니다.

【데이터 지연】배치 처리. IOSG 팀이 최근 Token Terminal과의 커뮤니케이션에 따르면, 현재 Token Terminal 플랫폼의 데이터는 약 이틀의 지연이 있습니다.

【플랫폼 사용 용이성】제로 문턱

【쿼리 자유도】표준 정보 인터페이스만 제공합니다.

또한 일부 주류 체인 상 데이터 분석 플랫폼은 사용자에게 데이터 테이블을 개방하여 사용자가 자유롭게 코드를 작성하여 쿼리할 수 있도록 하여 쿼리 내용에 대해 일정한 자유도를 부여합니다. 예를 들어 Dune Analytics와 Footprint Analytics가 있습니다.

Dune Analytics

Dune Analytics는 사용자가 자율적으로 쿼리할 수 있도록 가장 먼저 개방한 체인 상 데이터 분석 플랫폼으로, 가장 큰 분석가 그룹과 사용자 커뮤니티를 보유하고 있습니다. Dune Analytics는 고도로 세분화된 원시 체인 상 데이터를 제공하며, 분석가는 이러한 데이터를 자유롭게 활용하여 맞춤형 쿼리를 작성할 수 있습니다. Dune Analytics는 프로젝트 팀에게 Abstraction을 개방하여, 프로젝트 팀이 자신의 프로토콜 데이터 내용을 기반으로 분석가가 사용할 수 있는 더 적합한 데이터 테이블을 생성할 수 있도록 합니다. 그러나 자율 쿼리는 일정한 문턱이 있으며, 분석가는 PostgreSQL 작성 능력을 갖추어야만 자신의 요구를 충족하는 데이터 쿼리를 생성할 수 있습니다. 또한 쿼리 지연은 분석가의 SQL 작성 수준과 Dune Analytics가 제공하는 데이터 테이블에 대한 숙련도와 밀접하게 관련이 있습니다.

【블록체인 수】Dune Analytics는 Ethereum, BSC, Optimism, Polygon, Gnosis Chain, Solana 총 6개의 블록체인에 대한 체인 상 데이터를 제공합니다.

【데이터 세분화】매우 세분화됨

【데이터 지연】스트리밍 처리. 데이터 지연은 약 5분입니다.

【플랫폼 사용 용이성】Dune Analytics는 분석가에게 일정한 SQL 코딩 요구를 제시합니다.

【쿼리 자유도】높음

높은 세분화의 원시 데이터를 통해 분석가는 Dune Analytics에서 자유롭게 체인 상 분석을 생성할 수 있습니다. 예를 들어 매일 StepN의 새로운 신발 민팅 및 역사적 누적 데이터 https://dune.com/queries/627689/1170627

Dune Analytics는 2022년 5월 30일 Dune Engine v2를 발표했습니다. Dune Engine v2는 Dune Analytics의 데이터 아키텍처를 대대적으로 개편하여 사용자에게 더 빠른 쿼리 응답과 더 나은 쿼리 성능을 제공하는 동시에 사용자 경험에 미치는 영향을 최소화합니다.

Footprint Analytics

Nansen은 낮은 사용 문턱을 제공하지만 표준화된 정보 인터페이스만 제공하고, Dune Analytics는 자유로운 쿼리를 제공하지만 분석가가 PostgreSQL 언어를 작성할 수 있어야 하는 반면, Footprint Analytics는 사용자에게 두 가지를 모두 만족시키는 솔루션을 제공합니다. 즉, 큰 쿼리 자유도를 제공하면서도 사용 문턱을 낮추는 것입니다. 어떻게 가능할까요?

"체인 상 데이터는 복잡하여 분석가는 지표 계산을 완료하기 위해 수백 또는 수천 줄의 코드를 작성해야 할 수 있습니다. 분석 문턱을 해결하기 위해 Footprint는 체인 상 데이터를 정리하고 통합하여 데이터에 비즈니스 의미를 부여하여 사용자가 SQL 쿼리 및 코딩 없이도 블록체인 데이터를 분석할 수 있도록 합니다. 누구나 풍부한 차트 인터페이스를 통해 몇 분 안에 자신의 맞춤형 차트를 구축하고 체인 상 데이터를 해독하여 프로젝트 뒤의 가치 추세를 발견할 수 있습니다."

Footprint Analytics는 원시 블록체인 데이터뿐만 아니라 체인 상 데이터를 계층화하여 제공합니다. 가장 원시적인 체인 상 데이터는 동급(Bronze data)이며, 필터링, 정리 및 강화된 데이터는 은급(Silver data), 비즈니스 의미를 갖춘 데이터는 금급(Gold data)으로 분류됩니다.

이미 정리된 비즈니스 논리와 비즈니스 의미를 가진 금은급 데이터는 직접 분석에 사용될 수 있습니다. 금은급 데이터를 활용하여 Footprint Analytics는 사용자가 데이터 테이블을 간단히 드래그하여 체인 상 데이터를 자율적으로 쿼리할 수 있는 서비스를 제공합니다. 독자가 SQL 언어 코드를 작성할 수 있든 없든, 자신이 원하는 맞춤형 데이터 분석 정보 인터페이스를 신속하게 생성하고 필요한 정보를 직관적이고 상호작용 가능한 차트로 시각화할 수 있습니다.

【블록체인 수】Footprint Analytics는 현재 Ethereum, Arbitrum, Avalanche, Boba, BSC, Celo, Fantom, Harmony, IOTEX, Moonbeam, Moonriver, Polygon, Thundercore, Solana 등 총 17개의 블록체인에 대한 체인 상 데이터를 제공합니다.

【데이터 세분화】Footprint Analytics는 사용자에게 매우 세분화된 원시 데이터와 선별된 데이터(curated data)를 모두 제공합니다.

【데이터 지연】현재 Footprint Analytics는 수집된 원시 데이터를 매일 한 번 배치 처리하며, 데이터 지연은 하루입니다.

【플랫폼 사용 용이성】Footprint Analytics 플랫폼에서는 사용자가 SQL 쿼리 및 코딩 없이도 자유롭게 체인 상 데이터를 분석할 수 있습니다. SQL 코드 능력이 있는 분석가에게는 Footprint가 원시 데이터를 제공하여 분석가가 활용할 수 있도록 합니다.

【쿼리 자유도】높음

독자는 지금 바로 Footprint Analytics에 가서 몇 분 안에 자신의 체인 상 분석 인터페이스를 만들 수 있습니다.

4. 약간의 상상------탈중앙화 체인 상 데이터 분석

체인 상 데이터 분석은 매우 중요하지만, 현재 사용자들은 Nansen, Dune Analytics 등 중앙 집중적으로 관리되는 "체인 상 데이터" 분석 플랫폼에 의존하여 투자 결정을 지원해야 합니다. 이러한 플랫폼에서는 사용자가 사용하는 데이터가 변조되지 않았는지 검증할 수 없으며, 플랫폼이 제공하는 데이터 세트가 확실히 진실하다고 믿어야 합니다. "믿지 마세요. 검증하세요."라는 말은 체인 상 데이터 분석에서는 공허한 말이 되었습니다.

Web3의 물결이 밀려오고 있으며, 체인 상 생태계가 점점 더 풍부해지고 있습니다. 미래의 스마트 계약과 탈중앙화 애플리케이션은 원시 체인 상 데이터와 오라클이 제공하는 데이터뿐만 아니라, 원시 체인 상 데이터를 기반으로 계산된 분석 결과를 입력 정보로 필요로 할 수 있습니다. 그때 우리는 이러한 중앙 집중화된 체인 상 데이터 분석 플랫폼을 신뢰하고 사용할 수 있을까요? 답은 아마도 부정적일 것입니다.

IOSG 팀은 최근 이미 프로젝트 팀이 탈중앙화 체인 상 데이터 쿼리 및 분석을 실현하기 위한 첫 걸음을 내딛었다는 것을 보았습니다. 분량이 제한되어 있어, 다음 회차에서 계속 이야기하겠습니다------탈중앙화 체인 상 데이터 분석으로 가는 길.

참고:

https://www.nansen.ai/post/nansen-and-google-cloud-empower-web3-investors-with-high-quality-real-time-market-intelligence https://cloud.google.com/customers/nansen https://www.nansen.ai/research/on-chain-forensics-demystifying-steth-depeg https://docs.dune.com/data-tables/data-tables https://docs.dune.com/dune-engine-v2-beta/query-engine https://www.footprint.network/@Footprint/Footprint-Datasets-Data-Dictionary https://www.youtube.com/watch?v=Pp9_wgYZB3I