深度解析:Web3 中间件 Goldsky 如何提高区块链的数据可用性?
原标题:《加密数字平台 Goldsky 研究报告》
作者:FSC Global
Goldsky 简要介绍
Goldsky 是专为实时读取区块链的而成立的 API 开发商。该公司的软件允许开发人员利用他们需要的工具来构建可靠的实时应用程序,而无需在前端或后端进行数据清洗和整理,从而帮助开发人员快速启动实时 API。
融资信息:
2022 年 9 月 13 日,Goldsky 完成 2000 万美元种子轮融资,Felicis 和 Dragonfly Capital 领投。产品逻辑:作为区块链数据的基础设施,Goldsky 能够通过快速索引或 SubgraphAPI 的方式,实时提取区块链的原始数据,并允许用户将数据转化为最适合编程的格式,同时通过 GraphQL、Webhook或自定义 ETL 的方式,让用户能够实时、方便、个性化地使用各种链上数据。
这种原始数据处理服务类似 Data Pipeline 的概念,降低数据使用者的数据开发成本,让他们能够更专注于开发自己的应用。
图1 什么是 Data Pipeline 数据管道
行业站位:
Goldsky 是专为实时读取区块链的而成立的 API 开发商,目的是提高区块链的数据可用性,降低其他开发者使用区块链数据的成本。由此可见Goldsky 的行业站位是数据查询与索引。
图2 Web3 数据赛道结构图
本期目录
01|加密数字平台市场需求
02|什么是 Goldsky
名词解释和技术框架
产品流程和核心功能
收益模式
Roadmap 功能开发进度
赛道横评
03|Goldsky 能成为什么
04|团队
05|融资情况
01 加密数字平台市场需求
- 自动化整合、转换区块链原始数据的工具:区块链上存储的数据过于庞大,数据结构对应用编程不友好,不方便数据使用者直接使用。
- 实时提取数据的索引工具:目前市面上许多数据提取/处理工具存在长短不一的延迟。
- 定制化的企业数据服务:区块链数据使用者涵盖各类企业(金融交易、游戏、社交等),对数据格式和类型的需求各有差异。
02 什么是 Goldsky
Goldsky 是专为实时读取区块链的而成立的 API 开发商。
更具体点:Goldsky 让用户能够实时访问对存储在区块链上的数据,并允许项目方进行转换、整合、集成数据。为了满足项目方的个性化需求,Goldsky 还提供顾问与 API 定制服务。
技术逻辑:作为区块链数据的基础设施,Goldsky 能够通过快速索引或 SubgraphAPI 的方式,实时提取区块链的原始数据,并允许用户将数据转化为最适合编程的格式,同时通过 GraphQL、Webhook 以及自定义 ETL 的方式,让用户能够实时、方便、快捷、个性化地使用各种链上数据。为了更好地了解 Goldsky,先来看看 SubgraphAPI、GraphQL、Webhook、ETL 分别是什么。
名词解释和技术框架
1. 名词解释:
a. The Graph 与 Subgraph
The Graph 是一种去中心化的索引协议,用户通过 The Graph 索引和查询来自区块链的数据,解决了直接查询数据这一困难问题。任何人都可以基于 The Graph 创建自己的索引模块,这个模块便是 Subgraph。
b. GraphQL
GraphQL 是一种针对 Graph(图状数据)进行查询特别有优势的 Query Language(查询语言),所以叫做 GraphQL。
c. Webhook
Webhook 是一个 API 概念,但与 API 不同,Webhook 不需要发出请求即可获得响应,而 API 则需要发送请求才能获得响应。使用 Webhook 可以直接接收,而 API 需要检索才能响应。使用 Webhook 能提高数据索引效率,也能让企业被动接受数据推送,加强企业与数据服务方的联系。
d. ETL 流程(Extract-Transform-Load process)
ETL 是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。
2. 技术框架
The Graph 原始的数据储存直接调用 Subgraph 从区块链底层读取数据,无法适用于企业个性化的商业需求。
Goldsky:
为了符合现实数据的复杂使用需求,Goldsky 通过数据流让数据转换为最适合用户使用的格式。
产品流程和核心功能
1. 产品流程
Goldsky 的使用流程非常简便,如下图:
图5 Goldsky 使用产品流程
2. Goldsky 提供的获取区块链数据的方法
Goldsky 提供了两种获取区块链数据的方法:
2.1 直接索引
使用 Goldsky 的直接索引服务具有以下优势:
a. 无需创建 Subgraph,也能使用ABI (Application Binary Interface 应用程序二进制接口),提供 GraphQL 端点来访问链上数据,用户使用更加方便。
b. 可以查询非智能合约的相关数据,例如单个区块上的数据或其他原始交易数据
2.2 使用 Subgraph API ( 相当于是提供了一个 Subgraph 的替代品)
使用 Goldsky 的 Subgraph API 具有以下优势:
a. 提供多节点网络加速服务,提高数据索引的性能和可靠性。
b. 能从 Data Pool 中实时提取最新的块,解决了Subgraph的延迟问题。
c. 提供负载平衡系统,减少节点停机概率,让用户使用体验更加流畅。
d. 24/7 全天候监控项目方的世界级团队,用户不用再担心突发情况。
e. 为企业用户提供企业专用索引器,相当于“备用发电机”,避免企业因为数据宕机蒙受亏损。
图5 Goldsky 里 Subgraphs 模块
2.3 Goldsky 支持的链
3. Goldsky 的数据转换
Goldsky 的数据转换模型:能帮助项目对原始区块链数据进行转换。
举例来说,每个项目对数据的需求不同且需求是经常变化的,Goldsky 可以协助项目将原始数据转换为适合自己项目需求的形态。
Goldsky 的数据转换可以实现以下的示例:
- 跨多个区块链的组合 Subgraph
- 实时聚合数据
- 应用复杂的过滤器,进行初步数据清洗
- 欺诈数据,损坏数据检测
4. Goldsky 提供的访问数据的方法
Goldsky 为访问数据提供了以下几种方法:
- 通过 GraphQL 主动查询 Goldsky 上的数据。
- 通过 Webhook 被动接受 Goldsky 推送的数据。
- 配置连接器:Goldsky 将项目方集成到自己的 ETL 流程中,实现数据的实时共享。
收益模式
1. 早鸟
项目方可以登记进入 Goldsky 的 waitlist 里面,被通过后即可成为早鸟成员,免费享用 Goldsky 的功能。虽然 Twitter 上显示 1 月 14 日已经截止,但目前官网上仍然可以进行登记。
2. 收费
目前 Goldsky 未公布具体的收费标准。
Roadmap 功能开发进度
目前已接入 The Graph,完整的功能即将上线。
赛道横评
Goldsky 属于“数据索引”赛道,主要提供面向数据使用项目方的数据索引、数据清洗、可用性优化等服务。数据索引旨在通过 GraphQL 或者其他索引协议,解析或索引区块链上原始数据。降低开发者从区块链提取数据的成本。上游承接公链(eg. Ethereum, Arbitrum)数据,下游为 Dapps(DeFi, GameFi, SocialFi)项目方提供服务,同“数据索引”赛道的项目案例有:Bitquery、Covalent、The Graph、Center 和 Web3Go。
1. 同类产品
1.1 Bitquery(侧重于金融服务的:统一解析、索引和存储区块链数据的软件产品)
Bitquery 的 DEX GraphQL API 为跨不同区块链的多个 DEX 协议提供实时交易。用户可以访问 Kyber、Uniswap、0x、Balancer 协议、PancakeSwap 等协议的交易数据。可以构建图表、分析、寻找套利机会或分析 DEX 市场,也可以用于区块链调查和合规的资金流分析,找到资金的来源和目的地。
Bitquery 针对垂直领域客户制定特殊方案:
a. 针对性的服务客户有:
i. 独立开发者和加密交易者
ii. 金融机构和金融科技公司
iii. 数字资产交易所和场外交易柜台
iv. 监管机构和政府机构
v. DApp 和 DeFi 协议
b. 统一的区块链 GraphQL API 接口来访问 30 多个区块链的区块链数据来解决这个问题。Bitquery 的还可以帮助用户以简单而有意义的方式跨多个区块链访问 DeFi、DEX 协议和代币相关数据。
1.2 Covalent(允许用户无需代码从多个区块链中提取区块链交易数据)
Covalent 提供行业领先的统一 API(Unified API),为数十亿 Web3 数据点带来可见性(visibility)。允许开发者免去复杂的代码作业就从多个区块链中提取颗粒度更细,细节更丰富,时间久远(Detailed, Historical and Granular)的区块链数据。
TOKEN:CQT $0.06642
图6 $CQT 市值
Covalent 对开发者更加友好:
- 自动索引:Covalent 的存档节点对数据库中的每个合约、每个钱包、每个交易都进行了精确备份。Covalent 数据库拥有数十亿行数据和 TB 级数据。所有底层区块链上的代码都已经为开发人员自动编制好了索引。
- 无代码解决方案:Covalent 提供“无代码”解决方案,开发人员无需编写任何代码即可完成所有的个性化定制。开发团队不再需要将资金浪费在索引编程工作中去,可以让开发团队更加专注于自己的软件开发。
- 产品覆盖范围广:相同的统一 API 适用于 30 多个区块链和数十个用例,如加密钱包、NFT 画廊、投资者仪表板工具、DAO 工具。后续功能还在开发中。
1.3 The Graph (通过构建 SubgraphAPI,让数据易于访问)
融资信息:2022/01/21 5000万美元融资 Tiger Global 领投
Graph 是一种用于查询以太坊和 IPFS 等网络的索引协议。任何人都可以构建和发布成为 subgraph 的 API,使数据易于访问。在 The Graph 之前,团队必须开发和操作专有的索引服务器。这需要大量的工程和硬件资源,并破坏了去中心化所需的重要安全属性。The Graph 的使用流程如下:
a. 在 Ropsten 部署一个合约,并调用触发事件;
b. 创建定义数据索引的 subgraph;
c. 部署 subgraph 到 The Graph,实现数据索引;
d. 在前端 DApp 中查询索引数据。
1.4 Center (致力于打造最可靠的 NFT 索引 API )
融资信息:2022/07/28 1100 万美元融资 Founders Fund, Thrive Captial 领投
Center 致力于打造最可靠的 NFT API。Center.dev 横跨更多公链,搜索性能更高,API 设计时更考虑数据索引速度和格式,更加致力于提高开发者用户的生产力。它旨在节省开发团队用户的时间和费用,让他们能够更快地进入 NFT 市场。
Center 解决的两大问题:
a. 构建面向 NFT 的产品困难且昂贵;
b. 如果要提高 NFT 的使用率,需要更好的 NFT 索引工具。
1.5 Web3Go (早期集中在 Polkadot 的链上监控,未来会拓展到 BNB 和 Move 预言相关链)
融资信息:币安孵化器中的项目,与 BNB Chain 深度合作
Web3Go 为 Polkadot 生态构建一个数据平台,并提供一系列工具集,让每个人都可以轻松创建数据分析的可视化结果。Web3Go 能够跟踪链上的智能合约,以及不同Defi协议的 Stakings 和 CDP、NFT 流通、Polkadot 生态系统中的跨链资产等各种参数,并将这些数据格式化和持久化。随着波卡生态的发展,将会产生更多的链上数据,数据背后的价值是巨大的。目前,专业用户和普通参与者在数据的技术诀窍上还存在差距。使用 Web3Go 提供的基础设施和工具,每个人都可以基于从区块链格式化的真实数据,以漂亮的图表的形式轻松创建、发布和分享他们的观点。
Web3Go 解决的问题:
a. 让普通用户也能很好地用上链上数据,让用户自己能 build dashboard;
b. 传统数据架构比如 Dune,Nensen 有延迟,Web3Go 提供无延迟算法。
2. 同类对比
Bitquery:产品如其项目名,更侧重于提供链上 Crypto 交易业务相关的项目,比如 DeFi,Dex 等提供数据服务。Bitquery 更加垂直于金融企业的数据服务,与 Goldsky 无强竞争关系。
Covalent:更强调“无代码”,让开发者免去代码就能够在链上提取数据。同时 Covalent 具备多种 API 接口,覆盖范围广,与 Goldsky 具备一定的竞争关系。
The Graph:是数据索引业务的先行者,在 The Graph 之上任何人都可以构建 API 来为服务自己的数据需求。但构建 Subgraph API 也需要一定的编程基础和成本。所以在此之上类似于 Bitquery,Goldsky 的业务更加细分地为企业服务者提供个性化解决方案。The Graph 与 Goldsky 的技术逻辑类似,但面向用户不同。属于互补关系。
Center:旨在提供 NFT 的 API,与 Goldsky 通用链上数据 API 无强竞争关系。
Web3Go:Web3Go 主要集中于 Polkadot 链的数据服务,做链上数据的实时推送,与 Goldsky 有直接的竞争关系。但仅在 Polkadot 上有直接竞争关系。双方项目重心不同。
Goldsky:产品的定位更像是 “Data pipeline” 一种数据中间件,旨在基于 GraphQL 和其他数据源,为企业打造个性化的数据服务。降低企业使用链上数据的成本。要说 The Graph 是区块链数据索引的最基础服务的话,Goldsky 则是在此基础之上,让这些数据更加的可用,更加“适配”数据使用者的需求。同时 Goldsky 除了以太坊之外,还整合了其他公链的数据,让数据来源更加丰富。
ATTENTION:Covalent 的业务初具规模,且与 Goldsky 的业务具有一定竞争关系,未来一段时间待 Goldsky 产品成熟后,需要将其与 Covalent 进行对比。但笔者认为,数据中间件市场规模之大,足以容纳多家独角兽公司,良性竞争有利于促进双方产品互补及优化。
评价:
目前来看,这些竞品虽属于同一赛道,但都服务于不同需求。市场空间庞大,没有十分强烈的竞争关系。在 Web3 发展的早期,数据索引服务应该是多种解决方案并行的一个阶段,初期需要不同的企业来满足不同的个性化需求,后期才会考虑领域巨头的并购与整合。Goldsky 在作为更加面向企业开发者的数据中间件,降低了数据使用成本,提供实时个性化数据定制服务,未来成长很有想象空间。
03 Goldsky 能成为什么
根据 Grandveiw 数据:2021 年全球企业数据管理市场规模为 822.5 亿美元,预计从 2022 年到 2030 年将以 14.0% 的复合年增长率 (CAGR) 增长。Goldsky 作为数据中间件基础设施,所提供的链上数据服务不仅仅能够面向 Crypto Native 企业,还对有链上数据需求的传统互联网企业有重要意义。笔者相信随着区块链的蓬勃发展,Goldsky 的市场规模也会越来越大。
举个例子,Uniswap 等具有复杂智能合约的项目和 Bored Ape Yacht Club 等 NFT 计划将数据存储在以太坊区块链上,因此很难直接从区块链中读取除基本数据之外的任何内容。因此,获取更多的区块链数据,去对数据进行更深层次的处理和运用是目前 Web3 数据赛道的重中之重。
在我们的日常工作中,无论是机器学习的建模,还是数据产品开发,数据管道实际上都是一个不可或缺的部分。特别是随着数据来源更加多样化、复杂化以及数据量的飞速增长,搭建一个高效的数据工作流程非常重要。Goldsky 作为 Web3 数据赛道的数据索引工具,未来能为更多企业搭建高效的数据工作流,从而让使用者能够集中精力从数据中获取所需要的信息,而不是把精力花费在管理日常数据和管理数据库方面。
04 团队
Kevin Li,Cofounder & CEO,曾在 Ox Labs、Meta、Google、Heap 任职工程经理;
Jeffery Ling,Cofounder & CTO,曾在 TrueAccord 担任工程副总裁、Uppercase 担任 CTO、 在 Heap 担任工程师;
Benny Sidelinger,首席软件工程师,曾在 Venmo 担任工程经理,在 Bright Machines 担任首席工程师,在 Oracle 担任首席工程师;
Yaroslav Tkachenko,首席软件工程师,曾在 Shopify 任数据工程师、在动视任软件架构师;
Xiao Meng,软件工程师,曾在 Activision/Demonware 担任专家数据工程师;
Mike Nikles,软件工程师,曾在 Google 航空公司任首席解决方案架构师,Gitpod 的员工开发倡导者,Webstone Education 的创始人;
Avishek Neupane,软件工程师,曾在 Shopify 任高级软件工程师、亚马逊的软件工程师;
Paymahn Moghadasian,软件工程师,曾在 Meta 负责分布式数据库,在 Solvvy 负责 ML Infra,Datadog 任 RelEng。
05 市场运营和合作伙伴
该公司目前的客户群已经包括了 POAP、Polymarket 和 Arweave 等业界知名公司。未来将会有更多的运营动作。
06 融资信息
Seed:融资金额:2000 万美金
投资方:Dragonfly Capital Management, Felicis Ventures 领投,Compound 创始人兼 CEO Robert Leshner、Plaid 的 创始人 Zachary Perret & William Hockey、Mixer Labs 的 CEO Elad Gil、Shine Capital 创始人 Mo Kofyman、Alex Xu 个人投资者参投,Ox Labs、Uniswap Labs参投
Pre-Seed:融资金额:140 万美金
投资方:未透露
FSC Global 评论
为什么 Goldsky 能成为该赛道的优势项目?
目前 Web3 数据赛道市场空间庞大,没有十分强烈的竞争关系。在 Web3 发展的早期,数据索引服务应该是多种解决方案并行的一个阶段,初期需要不同的企业来满足不同的个性化需求,后期才会考虑领域巨头的并购与整合。Goldsky 在作为更加面向企业开发者的数据中间件,降低了数据使用成本,提供实时个性化数据定制服务,未来成长很有想象空间。
核心产品层面,底层接入了 The Graph,解决了直接查询数据这一困难。并且,项目方可以直接在 Goldsky 上创建自己的 subgraph,前端操作简单且顺滑。
市场和融资方面,项目与知名公司 POAP、Polymarket 和 Arweave 进行了合作,有良好的生态背景;也有大量顶级资方背书。