섬에서 협업으로: Web3 원주율 데이터 파이프라인의 의미

작성자: Jay : : FP

편집: 심조 TechFlow

2008년 비트코인 백서의 발표는 신뢰 개념에 대한 재고를 촉발했습니다. 블록체인은 이후 신뢰가 필요 없는 시스템의 개념을 포함하여 그 정의를 확장하였고, 개인 주권, 금융 민주화 및 소유권과 같은 다양한 가치가 기존 시스템에 적용될 수 있다고 빠르게 발전했습니다. 물론 블록체인이 실제로 적용되기 전에 많은 검증과 논의가 필요할 수 있습니다. 왜냐하면 다양한 기존 시스템과 비교할 때 블록체인의 특성이 다소 급진적으로 보일 수 있기 때문입니다. 그러나 이러한 상황에 대해 낙관적인 태도를 가진다면, 데이터 파이프라인을 구축하고 블록체인 저장소에 포함된 가치 있는 정보를 분석하는 것은 산업 발전의 또 다른 중요한 전환점이 될 잠재력이 있습니다. 우리는 이전에 존재하지 않았던 Web3 원주율 비즈니스 인텔리전스를 관찰할 수 있습니다.

이 글은 기존 IT 시장에서 일반적으로 사용되는 데이터 파이프라인을 Web3 환경에 투영하여 Web3 원주율 데이터 파이프라인의 잠재력을 탐구합니다. 이 글에서는 이러한 파이프라인의 이점, 해결해야 할 도전 과제 및 이러한 파이프라인이 산업에 미치는 영향을 논의합니다.

1. 정보 혁신에서 오는 특이점

"언어는 인간과 하등 동물 간의 가장 중요한 차이점 중 하나입니다. 이는 단순히 발음의 능력이 아니라, 명확한 소리를 명확한 생각과 연결하고 이러한 소리를 생각을 전달하는 기호로 사용하는 것입니다." --- 다윈

역사적으로 인류 문명의 중대한 진보는 정보 공유의 혁신과 함께했습니다. 우리의 조상들은 언어, 즉 구술 및 서면 언어를 사용하여 서로 소통하고 지식을 후세에 전했습니다. 이는 그들이 다른 종들에 비해 중대한 우위를 가지게 했습니다. 글쓰기, 종이 및 인쇄술의 발명은 정보를 더 널리 공유할 수 있게 하였고, 이는 과학, 기술 및 문화의 중대한 발전으로 이어졌습니다. 특히 구텐베르크 성경의 금속 활자 인쇄술은 대량 생산의 가능성을 열어준 분수령의 순간이었습니다. 이는 종교 개혁, 민주 혁명 및 과학적 진보의 출발점에 깊은 영향을 미쳤습니다.

2000년대 IT 기술의 급속한 발전은 우리가 인간 행동을 더 깊이 이해할 수 있게 했습니다. 이는 생활 방식의 변화를 초래하였고, 현대의 대부분의 사람들은 디지털 정보를 기반으로 다양한 결정을 내리고 있습니다. 그렇기 때문에 우리는 현대 사회를 "IT 혁신 시대"라고 부릅니다.

인터넷의 전면 상업화가 시작된 지 20년 만에 인공지능 기술이 다시 한번 세상을 놀라게 했습니다. 인력을 대체할 수 있는 많은 애플리케이션이 등장하였고, 많은 사람들이 AI가 문명을 어떻게 변화시킬 것인지에 대해 논의하고 있습니다. 어떤 사람들은 이러한 기술이 어떻게 이렇게 빠르게 등장할 수 있었는지에 대해 부정적인 입장을 취하고 있으며, 우리 사회의 기초를 흔들 수 있을 정도로 빠르게 발전할 수 있는 기술에 대해 의문을 제기하고 있습니다. "무어의 법칙"이 반도체 성능이 시간이 지남에 따라 기하급수적으로 증가한다고 말하지만, GPT의 출현이 가져온 변화는 너무 갑작스러워 즉각적으로 받아들이기 어려웠습니다.

그러나 흥미로운 점은 GPT 모델 자체가 사실상 매우 혁신적인 구조가 아니라는 것입니다. 반면 AI 산업은 다음과 같은 요소를 GPT 모델의 주요 성공 요인으로 보고 있습니다: 1) 대규모 고객군을 대상으로 하는 비즈니스 영역 정의, 2) 데이터 파이프라인을 통한 모델 조정 --- 데이터 수집에서 최종 결과 및 결과 기반 피드백까지. 간단히 말해, 서비스 제공 목적을 명확히 하고 데이터/정보 처리 과정을 업그레이드함으로써 이러한 애플리케이션은 혁신을 실현할 수 있습니다.

2. 데이터 기반의 의사결정은 어디에나 존재한다

우리가 말하는 대부분의 혁신은 실제로 축적된 데이터의 처리에 기반하고 있으며, 기회나 직관에 기반하지 않습니다. "자본주의 시장에서는 강자가 생존하는 것이 아니라 생존자가 강하다"는 속담이 있습니다. 오늘날 기업들은 치열한 경쟁을 벌이고 있으며, 시장은 포화 상태입니다. 따라서 기업들은 가장 작은 틈새 시장조차 잡기 위해 다양한 데이터를 수집하고 분석하고 있습니다.

우리는 슘페터의 "창조적 파괴" 이론에 지나치게 몰두하여 직관에 의한 의사결정을 과대평가하고 있을지도 모릅니다. 그러나 뛰어난 직관조차도 결국 개인이 축적한 데이터와 정보의 산물입니다. 디지털 세계는 앞으로 우리의 삶에 더 깊이 침투할 것이며, 점점 더 많은 민감한 정보가 디지털 데이터 형태로 나타날 것입니다.

Web3 시장은 사용자에게 자신의 데이터에 대한 통제권을 부여할 수 있는 잠재력 때문에 널리 주목받고 있습니다. 그러나 Web3의 기본 기술인 블록체인 분야는 현재 보안, 탈중앙화 및 확장성 문제를 해결하는 데 더 많은 관심을 기울이고 있습니다. 새로운 기술이 현실 세계에서 설득력을 가지려면 다양한 방식으로 사용할 수 있는 애플리케이션과 스마트를 개발하는 것이 중요합니다. 우리는 2010년경부터 대규모 데이터 처리 및 데이터 파이프라인 구축 방법론이 크게 발전한 것을 보았습니다. Web3의 맥락에서 산업 발전을 촉진하고 데이터 기반의 스마트를 생성하기 위해 데이터 흐름 시스템을 구축하는 데 노력해야 합니다.

3. 체인 상 데이터 흐름의 기회

그렇다면 우리는 Web3 원주율 데이터 흐름 시스템에서 어떤 기회를 포착할 수 있으며, 이러한 기회를 잡기 위해 해결해야 할 도전 과제는 무엇일까요?

3.1 장점

간단히 말해, Web3 원주율 데이터 흐름을 구성하는 가치는 신뢰할 수 있는 데이터를 여러 개체에 안전하고 효율적으로 배포할 수 있어 가치 있는 통찰력을 추출할 수 있다는 것입니다.

• 데이터 중복성 ------ 체인 상 데이터는 잃어버릴 가능성이 적고, 프로토콜 네트워크가 여러 노드에 데이터 조각을 저장하기 때문에 더 탄력적입니다.
• 데이터 보안성 ------ 체인 상 데이터는 분산 노드로 구성된 네트워크의 검증 및 합의를 거치기 때문에 변조 방지 기능이 있습니다.
• 데이터 주권 ------ 데이터 주권은 사용자가 자신의 데이터를 소유하고 통제할 권리입니다. 체인 상 데이터 흐름을 통해 사용자는 자신의 데이터가 어떻게 사용되는지 확인하고, 합법적으로 접근할 필요가 있는 사람과만 공유할 수 있습니다.
• 허가 필요 없음 및 투명성 ------ 체인 상 데이터는 투명하고 변조 방지 기능이 있습니다. 이는 처리 중인 데이터가 신뢰할 수 있는 정보 출처임을 보장합니다.
• 안정적인 운영 ------ 데이터 흐름이 분산 환경에서 프로토콜에 의해 조정될 때, 단일 실패 지점이 없기 때문에 각 레벨이 다운타임에 노출될 확률이 크게 줄어듭니다.

3.2 응용 사례

신뢰는 서로 다른 개체가 상호 작용하고 의사 결정을 내리는 기반입니다. 따라서 신뢰할 수 있는 데이터를 안전하게 배포할 수 있을 때, 많은 상호 작용과 의사 결정이 다양한 개체가 참여하는 Web3 서비스를 통해 이루어질 수 있습니다. 이는 사회 자본을 극대화하는 데 도움이 되며, 다음과 같은 몇 가지 응용 사례를 상상할 수 있습니다.

3.2.1 서비스 / 프로토콜 응용

규칙 기반의 자동화된 의사 결정 시스템 ------ 프로토콜은 서비스 운영에 필요한 주요 매개변수를 사용합니다. 이러한 매개변수는 서비스 상태를 안정화하고 사용자에게 최상의 경험을 제공하기 위해 정기적으로 조정됩니다. 그러나 프로토콜은 서비스 상태를 항상 모니터링하고 매개변수를 동적으로 변경할 수는 없습니다. 이것이 체인 상 데이터 흐름의 역할입니다. 체인 상 데이터 흐름은 서비스 상태를 실시간으로 분석하고 서비스 요구 사항에 맞는 최적의 매개변수 집합을 제안하는 데 사용될 수 있습니다(예: 대출 프로토콜에 자동 변동 금리 메커니즘 적용).

• 신용 시장 성장 ------ 전통적으로 신용은 금융 시장에서 개인의 상환 능력을 측정하는 데 사용되었습니다. 이는 시장 효율성을 높이는 데 도움이 됩니다. 그러나 Web3 시장에서 신용의 정의는 여전히 불분명합니다. 이는 개인 데이터가 부족하고 산업 간 데이터 거버넌스가 부족하기 때문입니다. 따라서 정보를 통합하고 수집하는 것이 어려워졌습니다. 체인 상 분산 데이터를 수집하고 처리하는 과정을 구축함으로써 Web3 시장에서 신용 시장을 재정의할 수 있습니다(예: Spectral의 MACRO(다중 자산 신용 위험 예측기) 점수).
• 탈중앙화 사회 / NFT 확장 ------ 탈중앙화 사회는 사용자 통제, 개인 정보 보호, 검열 저항 및 커뮤니티 거버넌스를 우선시합니다. 이는 대안적인 사회 패러다임을 제공합니다. 따라서 다양한 메타데이터를 더 원활하게 제어하고 업데이트하며 플랫폼 간의 이동을 촉진하는 파이프라인을 구축할 수 있습니다.
• 사기 탐지 ------ 스마트 계약을 사용하는 Web3 서비스는 악의적인 공격에 취약하며, 이러한 공격은 자금을 탈취하거나 시스템을 침입하게 하여 디커플링 및 유동성 공격을 초래할 수 있습니다. 이러한 공격을 사전에 탐지할 수 있는 시스템을 구축함으로써 Web3 서비스는 신속한 대응 계획을 수립하고 사용자를 보호할 수 있습니다.

3.2.2 협력 및 거버넌스 이니셔티브

• 완전 체인 상 DAO ------ 탈중앙화 자율 조직(DAO)은 효과적인 거버넌스 및 공공 자금 집행에 있어 체인 하 도구에 크게 의존합니다. 체인 상 데이터 처리 프로세스를 구축하여 DAO 운영을 위한 투명한 프로세스를 생성함으로써 Web3 원주율 DAO의 가치를 더욱 강화할 수 있습니다.
• 거버넌스 피로 완화 ------ Web3 프로토콜 결정은 일반적으로 커뮤니티 거버넌스를 통해 이루어집니다. 그러나 지리적 장벽, 모니터링 압박, 거버넌스에 필요한 전문 지식 부족, 무작위로 발표되는 거버넌스 의제 및 불편한 사용자 경험과 같은 여러 요인이 참여자들이 거버넌스에 참여하기 어렵게 만들 수 있습니다. 참여자가 이해에서 실제 개별 거버넌스 의제 사항을 처리하는 과정을 간소화할 수 있는 도구를 만들 수 있다면, 프로토콜 거버넌스 프레임워크는 더 효율적이고 효과적으로 운영될 수 있습니다.
• 협력 작품의 오픈 데이터 플랫폼 ------ 기존 학계 및 산업계에서 많은 데이터와 연구 자료가 공개되지 않아 시장의 전반적인 발전이 매우 비효율적일 수 있습니다. 반면 체인 상 데이터 풀은 누구에게나 투명하고 접근 가능하기 때문에 기존 시장보다 더 많은 협력 이니셔티브를 촉진할 수 있습니다. 많은 토큰 표준 및 DeFi 솔루션의 발전이 좋은 예입니다. 또한 우리는 다양한 목적을 위해 공공 데이터 풀을 운영할 수 있습니다.

3.2.3 네트워크 진단

• 지수 연구 ------ Web3 사용자는 프로토콜 상태를 분석하고 비교하기 위해 다양한 지표를 생성합니다. 여러 객관적인 지표(예: Nakaflow의 나카모토 계수)를 연구하고 실시간으로 표시할 수 있습니다.
• 프로토콜 지표 ------ 활성 주소 수, 거래 수, 자산 유입/유출 및 네트워크에서 발생한 수수료와 같은 데이터를 처리하여 프로토콜의 성능을 분석할 수 있습니다. 이러한 정보는 특정 프로토콜 업데이트의 영향, MEV의 상태 및 네트워크의 건강 상태를 평가하는 데 사용될 수 있습니다.

3.3 도전 과제

체인 상 데이터는 산업 가치를 증가시킬 수 있는 독특한 장점을 가지고 있습니다. 그러나 이러한 장점을 충분히 실현하기 위해서는 산업 내외의 많은 도전 과제를 해결해야 합니다.

• 데이터 거버넌스 부족 ------ 데이터 거버넌스는 일관되고 공유된 데이터 정책 및 표준을 수립하여 각 데이터 원소의 통합을 촉진하는 과정입니다. 현재 각 체인 상 프로토콜은 자체 표준을 수립하고 자신의 데이터 유형을 검색하고 있습니다. 그러나 문제는 이러한 프로토콜 데이터를 집계하고 사용자에게 API 서비스를 제공하는 주체 간의 데이터 거버넌스가 부족하다는 것입니다. 이는 서비스 간 통합을 어렵게 만들고, 결과적으로 사용자가 신뢰할 수 있고 포괄적인 통찰력을 얻기 어렵게 만듭니다.
• 비용 효율성 저하 ------ 프로토콜에 냉 데이터를 저장하면 사용자에게 데이터 보안 및 서버 비용을 절감할 수 있습니다. 그러나 분석을 위해 데이터를 자주 접근해야 하거나 많은 계산 자원이 필요한 경우, 이를 블록체인에 저장하는 것은 비용 효율적이지 않을 수 있습니다.
• 오라클 문제 ------ 스마트 계약은 현실 세계의 데이터에 접근할 수 있을 때만 완전히 기능할 수 있습니다. 그러나 이러한 데이터는 항상 신뢰할 수 있거나 일관되지 않을 수 있습니다. 합의 알고리즘을 통해 무결성을 유지하는 블록체인과 달리 외부 데이터는 결정적이지 않습니다. 오라클 솔루션은 외부 데이터의 무결성, 품질 및 확장성을 보장하기 위해 지속적으로 발전해야 하며, 특정 애플리케이션 계층에 의존해서는 안 됩니다.
• 프로토콜이 초기 단계에 있음 ------ 프로토콜은 자체 토큰을 사용하여 사용자가 서비스를 운영하고 서비스 비용을 지불하도록 유도합니다. 그러나 프로토콜 운영에 필요한 매개변수(예: 서비스 사용자에 대한 정확한 정의 및 인센티브 계획)는 종종 미숙하게 관리됩니다. 이는 프로토콜의 경제적 지속 가능성을 검증하기 어렵게 만듭니다. 많은 프로토콜이 유기적으로 연결되어 데이터 파이프라인을 생성할 경우, 파이프라인이 잘 작동할 수 있을지에 대한 불확실성이 더욱 커질 것입니다.
• 데이터 검색 시간 느림 ------ 프로토콜은 일반적으로 많은 노드의 합의를 통해 거래를 처리하며, 이는 전통적인 IT 비즈니스 논리와 비교할 때 정보 처리 속도와 양을 제한합니다. 이러한 병목 현상은 파이프라인을 구성하는 모든 프로토콜의 성능이 크게 향상되지 않는 한 해결하기 어렵습니다.
• Web3 데이터의 진정한 가치 ------ 블록체인은 고립된 시스템으로, 현실 세계와 연결되지 않았습니다. Web3 데이터를 수집할 때, 수집된 데이터가 의미 있는 통찰력을 제공할 수 있는지, 데이터 파이프라인 구축 비용을 지불할 수 있을 만큼 충분한지를 고려해야 합니다.
• 낯선 문법 ------ 기존 IT 데이터 인프라와 블록체인 인프라의 운영 방식은 매우 다릅니다. 사용되는 프로그래밍 언어조차 다르며, 블록체인 인프라는 일반적으로 저수준 언어나 블록체인 요구에 맞게 설계된 새로운 언어를 사용합니다. 이는 새로운 개발자와 서비스 사용자가 각 데이터 원소를 처리하는 방법을 배우는 것을 어렵게 만듭니다. 그들은 새로운 프로그래밍 언어나 블록체인 데이터를 처리하는 새로운 사고 방식을 배워야 하기 때문입니다.

4. 파이프라인화된 Web3 데이터 레고

현재 Web3 데이터 원소 간에는 연결이 없으며, 이들은 독립적으로 데이터를 추출하고 처리합니다. 이는 실험적 정보 처리의 시너지 효과를 어렵게 만듭니다. 이 문제를 해결하기 위해, 본문에서는 IT 시장에서 일반적으로 사용되는 데이터 파이프라인을 소개하고, 기존 Web3 데이터 원소를 해당 파이프라인에 매핑합니다. 이는 사용 사례를 더욱 구체화할 것입니다.

4.1 일반 데이터 파이프라인

데이터 파이프라인 구축은 일상 생활에서 반복적인 의사 결정 과정을 개념화하고 자동화하는 과정과 같습니다. 이를 통해 사람들은 언제든지 필요한 특정 품질의 정보를 얻고 이를 의사 결정에 활용할 수 있습니다. 처리해야 할 비구조적 데이터가 많을수록, 정보를 사용하는 빈도가 높을수록, 실시간 분석이 필요한 정도가 높을수록, 이 일련의 과정을 자동화함으로써 미래 의사 결정에 필요한 능동성을 확보하는 데 드는 시간과 비용을 절감할 수 있습니다.

위 그림은 기존 IT 인프라 시장에서 데이터 파이프라인을 구축하는 데 사용되는 일반 아키텍처를 보여줍니다. 분석 목적에 적합한 데이터는 올바른 데이터 소스에서 수집되며, 데이터의 특성과 분석 요구에 따라 적절한 저장 솔루션에 저장됩니다. 예를 들어, 데이터 레이크는 확장 가능하고 유연한 분석을 위한 원시 데이터 저장 솔루션을 제공하며, 데이터 웨어하우스는 특정 비즈니스 논리에 최적화된 쿼리 및 분석을 위해 구조화된 데이터를 저장하는 데 중점을 둡니다. 그런 다음 데이터는 다양한 방식으로 통찰력이나 유용한 정보로 처리됩니다.

각 솔루션 계층은 패키지 서비스 형태로 제공될 수도 있습니다. 데이터 추출에서 로딩까지의 일련의 과정을 연결하는 ETL(추출, 변환, 로딩) SaaS 제품군도 점점 더 주목받고 있습니다(예: FiveTran, Panoply, Hivo, Rivery). 순서는 항상 단방향이 아니며, 조직의 구체적인 요구에 따라 각 계층은 여러 방식으로 상호 연결될 수 있습니다. 데이터 파이프라인을 구축할 때 가장 중요한 것은 각 서버 계층에서 데이터가 전송되고 수신될 때 발생할 수 있는 데이터 손실 위험을 최소화하는 것입니다. 이는 서버의 디커플링 정도를 최적화하고 신뢰할 수 있는 데이터 저장 및 처리 솔루션을 사용하는 것으로 달성할 수 있습니다.

4.2 체인 상 환경을 갖춘 파이프라인

앞서 소개한 데이터 파이프라인의 개념도 체인 상 환경에 적용될 수 있지만, 각 기본 구성 요소가 어느 정도 중앙 집중화된 체인 하 솔루션에 의존하기 때문에 완전 탈중앙화된 파이프라인은 형성될 수 없다는 점에 유의해야 합니다. 또한 위 그림은 현재 모든 Web3 솔루션을 포함하고 있지 않으며, 분류의 경계가 모호할 수 있습니다. 예를 들어, KYVE는 스트리밍 플랫폼 외에도 데이터 레이크 기능을 포함하고 있어 데이터 파이프라인 자체로 볼 수 있습니다. 또한 Space and Time은 탈중앙화 데이터베이스로 분류되지만, Rest API 및 스트리밍과 같은 API 게이트웨이 서비스와 ETL 서비스를 제공합니다.

4.2.1 캡처 / 처리

일반 사용자나 dApp이 서비스를 효율적으로 사용/작동하기 위해서는 주로 프로토콜 내부에서 생성된 데이터 소스(예: 거래, 상태 및 로그 이벤트)를 쉽게 식별하고 접근할 수 있어야 합니다. 이 계층은 오라클, 메시징, 인증 및 API 관리 등을 포함한 프로세스에서 중간 역할을 하는 미들웨어입니다. 주요 솔루션은 다음과 같습니다.

스트리밍 / 인덱스 플랫폼

Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, 각 프로토콜의 블록 탐색기 등.

노드 서비스 및 기타 RPC / API 서비스

Alchemy, All that Node, Infura, Pocket Network, Quicknode 등.

오라클

API3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra 오라클 등.

4.2.2 저장

Web2 저장 솔루션과 비교할 때, Web3 저장 솔루션은 지속성과 탈중앙화 등 여러 가지 장점을 가지고 있습니다. 그러나 높은 비용, 데이터 업데이트 및 쿼리의 어려움과 같은 몇 가지 단점도 존재합니다. 따라서 이러한 단점을 해결하고 Web3에서 구조화된 동적 데이터를 효율적으로 처리할 수 있는 다양한 솔루션이 등장했습니다. 각 솔루션은 처리하는 데이터 유형, 구조화 여부 및 내장 쿼리 기능 여부 등에서 특징이 다릅니다.

탈중앙화 저장 네트워크

Arweave, Filecoin, KYVE, Sia, Storj 등.

탈중앙화 데이터베이스

Arweave 기반 데이터베이스(Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tablel and 등.

* 각 프로토콜은 서로 다른 영구 저장 메커니즘을 가지고 있습니다. 예를 들어, Arweave는 블록체인 기반 모델로, 이더리움 저장과 유사하게 데이터를 영구적으로 체인에 저장하며, Filecoin, Sia 및 Storj는 계약 기반 모델로 데이터를 체인 하에 저장합니다.

4.2.3 변환

Web3의 맥락에서 변환 계층은 저장 계층만큼 중요합니다. 이는 블록체인의 구조가 기본적으로 분산 노드 집합으로 구성되어 있어 확장 가능한 백엔드 논리를 사용하는 것이 용이하기 때문입니다. 인공지능 산업에서는 이러한 장점을 활용하여 연합 학습 분야의 연구를 활발히 탐색하고 있으며, 머신 러닝 및 인공지능 작업을 위한 프로토콜이 등장하고 있습니다.

데이터 훈련 / 모델링 / 계산

Akash, Bacalhau, Bittensor, Gensyn, Golem, Together 등.

* 연합 학습은 원래 모델을 여러 원주율 클라이언트에 분산시키고, 저장된 데이터를 사용하여 이를 훈련한 다음, 중앙 서버에서 학습된 매개변수를 수집하여 인공지능 모델을 훈련하는 방법입니다.

4.2.4 분석 / 사용

아래에 나열된 대시보드 서비스와 최종 사용자의 통찰력 및 분석 솔루션은 사용자가 특정 프로토콜에서 다양한 통찰력을 관찰하고 발견할 수 있도록 하는 플랫폼입니다. 이들 중 일부 솔루션은 최종 제품에 API 서비스를 제공하기도 합니다. 그러나 이러한 솔루션의 데이터는 대부분 별도의 체인 하 도구를 사용하여 저장하고 처리하기 때문에 항상 정확하지는 않다는 점에 유의해야 합니다. 또한 솔루션 간의 오류도 관찰될 수 있습니다.

동시에 "Web3 Functions"라는 플랫폼이 있어, 구글 클라우드와 같은 중앙 집중화된 플랫폼이 특정 비즈니스 논리를 트리거/실행하는 것처럼 스마트 계약의 실행을 자동화/트리거할 수 있습니다. 이 플랫폼을 사용하면 사용자는 단순히 체인 상 데이터를 처리하여 통찰력을 얻는 것이 아니라 Web3 원주율 방식으로 비즈니스 논리를 구현할 수 있습니다.

대시보드 서비스

Dune Analytics, Flipside Crypto, Footprint, Transpose 등.

최종 사용자의 통찰력 및 분석

Chainalaysis, Glassnode, Messari, Nansen, The Tie, Token Terminal 등.

Web3 Functions

Chainlink의 Functions, Gelato Network 등.

5. 요약 및 생각

칸트가 말했듯이, 우리는 사물의 현상만을 목격할 수 있으며 그 본질에 접근할 수는 없습니다. 그럼에도 불구하고 우리는 "데이터"라고 불리는 관찰 기록을 활용하여 정보와 지식을 처리하고 있으며, 정보 기술의 혁신이 문명의 발전을 어떻게 촉진하는지를 보고 있습니다. 따라서 Web3 시장에서 데이터 파이프라인을 구축하는 것은 탈중앙화의 특징 외에도 이러한 기회를 실제로 포착하는 출발점으로서 중요한 역할을 할 수 있습니다. 이 글을 요약하기 위해 몇 가지 생각을 하고자 합니다.

5.1 저장 솔루션의 역할이 더욱 중요해질 것이다

데이터 파이프라인을 갖추기 위한 가장 중요한 전제는 데이터 및 API 거버넌스를 구축하는 것입니다. 점점 다양해지는 생태계에서 각 프로토콜이 생성하는 규범은 계속해서 재구성될 것이며, 다중 체인 생태계의 단편화된 거래 기록은 개인이 종합적인 통찰력을 도출하기 어렵게 만들 것입니다. 그러므로 "저장 솔루션"은 단편화된 정보를 수집하고 각 프로토콜의 규범을 업데이트하여 통합된 데이터를 통일된 형식으로 제공할 수 있는 주체입니다. 우리는 기존 시장의 저장 솔루션(예: Snowflake 및 Databricks)이 빠르게 발전하고 있으며, 방대한 고객 기반을 보유하고 있고, 파이프라인 내에서 각 계층을 운영하여 수직 통합을 이루고 산업 발전을 선도하고 있음을 관찰하고 있습니다.

5.2 데이터 소스 시장의 기회

데이터가 더 쉽게 접근 가능해지고 처리 과정이 개선되면 성공적인 사용 사례가 나타나기 시작합니다. 이는 데이터 소스와 수집 도구가 폭발적으로 증가하는 긍정적인 순환 효과를 생성합니다. 2010년 이후 데이터 파이프라인 구축 기술이 크게 발전함에 따라 매년 수집되는 디지털 데이터의 유형과 양이 기하급수적으로 증가하고 있습니다. 이러한 배경을 Web3 시장에 적용하면, 미래에는 체인 상에서 많은 데이터 소스를 재귀적으로 생성할 수 있을 것입니다. 이는 블록체인이 다양한 비즈니스 분야로 확장될 것임을 의미합니다. 이 점에서 우리는 Ocean Protocol과 같은 데이터 시장이나 Helium 및 XNET과 같은 DeWi(탈중앙화 무선) 솔루션 및 저장 솔루션을 통해 데이터 수집을 추진할 것으로 기대할 수 있습니다.

5.3 의미 있는 데이터와 분석이 중요하다

그러나 가장 중요한 것은 어떤 데이터를 준비해야 진정으로 필요한 통찰력을 추출할 수 있는지를 지속적으로 질문하는 것입니다. 데이터 파이프라인을 구축하기 위해 명확한 가설 없이 구축하는 것보다 더 낭비되는 것은 없습니다. 기존 시장은 데이터 파이프라인 구축을 통해 많은 혁신을 이루었지만, 반복적인 무의미한 실패로 인해 수많은 대가를 치렀습니다. 기술 스택 발전에 대한 건설적인 논의도 좋지만, 산업은 블록 공간에 어떤 데이터를 저장해야 하는지, 데이터가 어떤 목적으로 사용되어야 하는지와 같은 더 기본적인 문제에 대해 생각하고 논의할 시간이 필요합니다. "목표"는 실행 가능한 정보와 사용 사례를 통해 Web3의 가치를 실현하는 것이어야 하며, 이 과정에서 여러 기본 구성 요소를 개발하고 파이프라인을 완성하는 것이 이 목표를 달성하는 "수단"이 될 것입니다.