Arweave 创始人对话 NEAR 联创:探索AI与区块链融合之路
作者:思维怪怪,BlockBeats
译者注:6 月 14 日, AO 基金会正式推出去中心化超级计算机 AO 的代币经济学。就在两天前的 6 月 12 日晚,去中心化黑客松平台和加速器 BeWater 合伙人 Lulu 邀请 Arweave 和 AO 创始人 Sam Williams 、 NEAR Protocol 联合创始人 Illia Polosukhin 就 AI 和区块链的融合进行了一场深度对谈。 Sam 详细阐述了 AO 的底层架构,它以面向 Actor 的范式和去中心化的 Erlang 模型为基础,旨在打造一个可无限扩展、支持异构进程交互的去中心化计算网络。
Sam 还展望了 AO 在 DeFi 场景中的潜在应用,通过引入可信的 AI 策略, AO 有望实现真正的「代理金融」。 Illia 则分享了 NEAR Protocol 在可扩展性和 AI 集成方面的最新进展,包括链抽象与链签名功能的引入,以及开发中的点对点支付和 AI 推理路由器。此外,两位嘉宾还就当前各自生态中的优先事项和研究重点,以及他们看好的创新项目发表了看法。
Illia 和 Sam 如何涉足 AI 和加密
Lulu :首先做一个简单的自我介绍吧,讲讲你们如何涉足 AI 和区块链两个领域。
Illia :我的背景是机器学习和人工智能,在进入加密领域之前,我在这一领域工作了大约 10 年。我最为人所知的是《Attention is All You Need》这篇论文,它引入了 Transformer 模型,现在被广泛应用于各种现代机器学习、AI 和深度学习技术中。然而,在此之前,我还参与了许多项目,包括 TensorFlow,这是 Google 在 2014-2015 年开源的一个机器学习框架。我还从事过问答系统、机器翻译等研究,并在 Google.com 和其他谷歌产品中实际应用了一些研究成果。
后来,我和 Alex 共同创办了NEAR.ai,最初是一家 AI 公司,致力于教机器编程。我们认为,未来人们将能够通过自然语言与计算机交流,而计算机则会自动进行编程。在 2017 年,这听起来像是科幻小说,但我们确实进行了大量研究。我们通过众包的方式获取更多的训练数据,来自中国、东欧等地的学生为我们完成小任务,如编写代码、撰写代码注释。但我们在支付酬劳时遇到了挑战,比如 PayPal 无法向中国用户转账。
有人建议使用比特币,但当时比特币的交易费用已经很高。于是我们开始深入研究。我们有可扩展性的背景,在谷歌,一切都要讲究规模。我的联合创始人 Alex 创建了一个分片数据库公司,为财富 500 强企业服务。那时看到区块链技术的现状很奇怪,几乎所有东西实际上都在单台机器上运行,受限于单机的能力。
于是,我们打算构建一个新的协议,这就是 NEAR Protocol。它是一个分片的 Layer 1 协议,注重可扩展性、易用性和开发便利性。我们在 2020 年上线了主网,并一直在壮大生态系统。2022 年,Alex 加入了 OpenAI,2023 年又创办了一家专注于基础模型的 AI 公司。最近,我们宣布他回归领导NEAR.ai团队,继续我们在 2017 年开始的教机器编程的工作。
Lulu :这真是一个非常精彩的故事,我之前并不知道 NEAR 最初是作为一个 AI 公司起步的,并且现在又重新聚焦于 AI 。接下来请 Sam 介绍一下自己和你们的项目。
Sam :我们大约七年前开始涉足这个领域,当时我已经关注比特币很长时间了。我们发现了一个令人兴奋但未被深入探索的想法:你可以在一个网络上存储数据,这些数据将被复制到全球各地,没有单一的中心化故障点。这启发了我们创建一个永不遗忘的、被多个地方复制的档案,让任何单一组织甚至政府都无法审查这些内容。
于是,我们的使命变成了给比特币扩容,或者说让比特币式的链上数据存储达到任意规模,以便我们能够为人类创建一个知识库,存储所有的历史,形成一种不可篡改、无需信任的历史日志,这样我们就永远不会忘记我们如何一步步走到今天这个重要背景。
我们在 7 年前开始了这项工作,如今已经上线主网 6 年多了。在这个过程中,我们意识到永久的链上存储能够提供远超我们最初想象的功能。最初,我们的想法是存储报纸文章。但在主网上线后不久,我们意识到,如果你能在世界各地存储所有这些内容,实际上你就种下了一个永久去中心化网络的种子。不仅如此,我们在 2020 年左右意识到,如果你有确定性的虚拟机和一个与程序交互的永久有序日志,你基本上可以创建智能合约系统。
我们在 2020 年首次尝试了这个系统,当时我们称之为 SmartWeave 。我们借鉴了计算机科学中的惰性求值概念,这个概念主要由编程语言 Haskell 推广。我们知道这个概念在生产环境中已经使用了很长时间,但在区块链领域还没有被真正应用。通常在区块链领域,人们在写入消息时就会执行智能合约。但我们认为,区块链实际上是一种只增不减的数据结构,具有一定的规则来包含新信息,而无需与数据写入本身同时执行代码。由于我们有一个任意可扩展的数据日志,这对我们来说是一种自然的思考方式,但在当时还是比较罕见的。唯一的另一个团队是现在叫做 Celestia (当时叫 LazyLedger )的团队。
这导致了 Arweave 上计算系统的一场寒武纪大爆发。大约有三四个主要项目,其中一些发展出了自己独特的社区、功能集和安全权衡。在此过程中,我们发现不仅要利用基础层的数据可用性来存储这些日志,还需要一种机制来委托数据可用性保证。具体来说,你可以将数据提交给一个打包节点或者其他代表你的人(现在称为调度单元),它们会将数据上传到 Arweave 网络,并给你一个含有经济激励的保证,确保数据会被写入网络。一旦这种机制到位,你就有了一个可以横向扩展计算的系统。本质上,你有一系列的进程,可以将其看作以太坊上的 Rollup ,共享相同的数据集,能够相互通信。
AO ( Actor - Oriented )的名称来自计算机科学中的范式,我们建立了一个结合所有这些组件的系统,它有原生的消息传递系统、数据可用性提供者和去中心化计算网络。因此,惰性求值组件变成了一个分布式集合,任何人都可以开启节点来解析合约状态。将这些组合在一起,你得到的是一台去中心化的超级计算机。它的核心是我们有一个任意可扩展的消息日志,记录了所有参与计算的消息。我认为这特别有趣,因为你可以进行并行计算,而你的进程不会影响我的进程的可扩展性或利用率,这意味着你可以进行任意深度的计算,例如在网络内部运行大规模 AI 工作负载。目前,我们的生态系统正在大力推动这一理念,探索在基础层的智能合约系统中引入市场智能时会发生什么。这样,你本质上就有了智能代理在替你工作,它们是可信的、可验证的,就像底层的智能合约一样。
AO 的底层概念和技术架构
Lulu :正如我们所知, NEAR Protocol 和 Arweave 现在正在推动 AI 和加密货币的交叉融合。我想深入探讨一下,既然 Sam 已经触及了 AO 的一些底层概念和架构,我可能会先从 AO 开始,稍后再转向 AI 。您描述的那些概念,让我感觉那些代理在自主运行、协调并允许 AI 代理或应用程序在 AO 之上工作。能否详细阐述一下 AO 基础设施内部的并行执行或独立自主代理?构建去中心化 Erlang 的隐喻是否准确?
Sam :在我开始之前,我想提一下,我曾在读博士期间构建了一个基于 Erlang 系统的操作系统。我们称之为在裸机上运行。Erlang 令人兴奋的地方在于,它是一个简单而富有表现力的环境,其中每一块计算都期望并行运行,而不是共享状态模型,后者已经成为加密领域的规范。
这其中的优雅之处在于,它与现实世界有着美妙的映射。就像我们现在正在一起进行这个对话,我们实际上是独立的角色,在自己的脑中进行计算,然后倾听、思考和交谈。 Erlang 的代理或面向 Actor 的架构确实很出色。在 AO 峰会上紧接着我演讲的是 Erlang 的创始人之一,他讲述了他们在 1989 年左右如何想出这个架构。当时他们甚至没有意识到「面向 Actor 」这个术语。但这是一个足够美妙的概念,许多人都想出了同样的想法,因为它很有道理。
对我来说,如果你想构建真正可扩展的系统,你必须让它们传递消息,而不是共享状态。也就是说,当它们共享状态时,就像在以太坊、 Solana 和几乎所有其他区块链中发生的那样,实际上 NEAR 是一个例外。 NEAR 有分片,所以它们不共享全局状态,而是有局部状态。
当我们构建 AO 时,目标是将这些概念结合起来。我们希望有并行执行的进程,可以进行任意大规模的计算,同时将这些进程的交互与其执行环境分离,最终形成一个去中心化版本的 Erlang 。对于那些不太熟悉分布式技术的人来说,最简单的理解方式就是把它想象成一台去中心化的超级计算机。使用 AO ,你可以在系统内部启动一个终端。作为开发人员,最自然的使用方式就是启动自己的本地进程,然后与之对话,就像你与本地命令行界面对话一样。随着我们走向消费者采用,人们正在构建 UI 和所有你期望的东西。从根本上说,它允许你在这个去中心化的计算设备云中运行个人计算,并使用一个统一的消息格式进行互动。我们在设计这一部分时参考了运行互联网的 TCP / IP 协议,试图创建一个可以被视为计算本身的 TCP / IP 协议。
AO 的数据协议不强制使用任何特定类型的虚拟机。你可以使用任何你想要的虚拟机,我们已经实现了 WASM32 和 64 位版本。生态系统中的其他人已经实现了 EVM 。如果你有这个共享的消息层(我们使用 Arweave ),那么你可以让所有这些高度异构的进程在一个共享环境中交互,就像计算的互联网。一旦这种基础设施到位,下一步自然就是探索可以使用智能、可验证、信任的计算来做什么。显而易见的应用就是 AI 或智能合约,让代理在市场中做出智能决策,可能相互对抗,也可能代表人类对抗人类。当我们审视全球金融体系时,纳斯达克大约 83% 的交易是由机器人执行的。这就是世界运转的方式。
过去我们无法将智能部分上链并使其可信。但在 Arweave 生态系统中,还有另一个并行的工作流,我们称之为 R AI L ,即负责任的 AI 账本。它本质上是一种创建不同模型输入和输出记录的方式,并以公开、透明的方式存储这些记录,这样你就可以查询并说,「嘿,我看到的这段数据来自 AI 模型吗?」如果我们能够推广这一点,我们认为它可以解决我们今天看到的一个根本问题。比如,有人给你发了一篇来自你不信任的网站的新闻文章,上面似乎有某个政客做傻事的图片或视频。这是真的吗? R AI L 提供了一个账本,很多竞争公司可以在一个透明和中立的方式下使用,存储他们生成的输出记录,就像他们使用互联网一样。而且他们可以以极低的成本做到这一点。
Illia 对区块链可扩展性的看法
Lulu :我很好奇 Illia 对 AO 方法或模型可扩展性的看法。您曾参与 Transformer 模型的工作,该模型旨在解决顺序处理的瓶颈。我想问问, NEAR 的可扩展性方法是什么?在之前的 AMA 聊天中,您提到过您正在研究一个方向,即多个小模型组成一个系统,这可能是解决方案之一。
Illia :可扩展性在区块链中可以有很多不同的应用方式,我们可以沿着 Sam 的话题聊下去。现在看到的是,如果你使用单个大型语言模型(LLM),它在推理方面有一些限制。你需要以特定的方式提示它,它才能运行一段时间。随着时间的推移,模型会不断改进,变得更加通用。但无论如何,你都在以某种方式调教这些模型(可以将其视为原始智能)来执行特定的功能和任务,并在特定的上下文中进行更好的推理。
如果你希望它们执行更通用的工作和进程,你需要多个模型在不同的上下文中运行,执行任务的不同方面。举一个非常具体的例子,我们现在正在开发一个端到端的流程。你可以说,「嘿,我想构建这个应用程序。」最终输出是一个完全构建好的应用程序,包含正确的、经过正式验证的智能合约,并且用户体验也经过了充分的测试。在现实生活中,通常不会有一个人来构建所有这些东西,同样的想法也适用于这里。你实际上希望 AI 扮演不同的角色,在不同的时间发挥不同的作用,对吧?
首先,你需要一个担任产品经理角色的 AI 代理,实际收集需求,弄清楚你到底想要什么,有哪些权衡,用户故事和体验是什么。然后可能有一个 AI 设计师,负责将这些设计转化为前端。再可能有一个架构师,负责后端和中间件的架构。接着是 AI 开发者,编写代码并确保智能合约和所有前端工作经过正式验证。最后,可能还有一个 AI 测试人员,确保一切正常运行,通过浏览器进行测试。这样就形成了一组 AI 代理,虽然可能使用相同的模型,但经过特定功能的微调。它们在过程中各自独立扮演角色,使用提示、结构、工具和观察到的环境进行互动,构建一个完整的流程。
这就是 Sam 所说的,拥有许多不同的代理,它们异步地完成自己的工作,观察环境并弄清楚应该做什么。所以你确实需要一个框架,需要系统来持续改进它们。从用户的角度来看,你发送一个请求,并与不同的代理进行交互,但它们就像一个单一的系统在完成工作。在底层,它们可能实际上为交换信息而相互支付,或者不同所有者的不同代理相互交互以实际完成某件事。这是一种新版本的 API ,更智能,更自然语言驱动。所有这些都需要大量的框架结构以及支付和结算系统。
有一种新的解释方式叫做 AI 商业,所有这些代理为完成任务而相互互动。这是我们所有人正在迈向的系统。如果考虑到这种系统的可扩展性,需要解决几个问题。正如我提到的, NEAR 设计是为了支持数十亿用户,包括人类、 AI 代理甚至猫,只要能够进行交易。每个 NEAR 账户或智能合约都是并行运行的,允许继续扩展和交易。在较低层次上,你可能不希望每次调用 AI 代理或 API 时都发送交易,无论 NEAR 有多便宜,都不合理。因此,我们正在开发一个点对点协议,使代理节点、客户端(包括人类或 AI )能够相互连接并为 API 调用、数据获取等支付费用,并有加密经济规则保证他们会响应,否则将失去部分抵押金。
这是一个新系统,允许超越 NEAR 的扩展,提供微支付。我们称之为 yocto NEAR ,相当于 NEAR 的 10^-24。这样你实际上可以在网络层级上进行消息交换,并附带支付功能,使得所有的操作和交互现在都可以通过这种支付系统进行结算。这解决了区块链中一个根本性的问题,即我们没有带宽和延迟的支付系统,并且实际上存在很多免费搭便车的问题。这是可扩展性一个非常有趣的方面,不仅仅局限于区块链的可扩展性,而是能够应用于未来可能拥有数十亿代理的世界。在这个世界里,即使在你的设备上,也可能同时运行着多个代理,在后台执行各种任务。
AO 在 DeFi 场景中的应用:代理金融
Lulu :这个用例非常有趣。我相信对于 AI 支付,通常存在高频支付和复杂策略的需求,而这些需求由于性能限制尚未实现。所以我很期待看到基于更好的可扩展性选项如何实现这些需求。在我们的黑客松中, Sam 和团队提到, AO 也在探索使用新 AI 基础设施来支持 DeFi 用例。 Sam ,您能否详细说明一下你们的基础设施如何在新的 DeFi 场景中应用?
Sam :我们称之为代理金融(Agent Finance)。这指的是我们看到的市场有两个方面。DeFi 在第一阶段做得非常好,将各种经济原语去中心化并带到链上,使用户无需信任任何中介即可使用。但当我们考虑市场时,我们想到的是数字的上下波动,以及驱动这些决策的智能。当你能够将这种智能本身带上链时,你就会得到一个无需信任的金融工具,如基金。
一个简单的例子是,假设我们要建立一个 meme coin 交易对冲基金。我们的策略是,当我们看到提到特朗普时就买入 Trump 币,提到拜登时就买入 Biden 币。在 AO 中,你可以使用像 0rbit 这样的预言机服务来获取网页的全部内容,比如《华尔街日报》或《纽约时报》,然后将其输入到你的代理中,它处理这些数据并分析特朗普被提到了多少次。你也可以进行情感分析,从而了解市场走势。然后,你的代理会根据这些信息去买卖这些资产。
有趣的是,我们可以使代理执行本身无需信任。这样你就有了一个对冲基金,可以执行策略,你可以将资金投入其中,而无需信任基金经理。这是金融的另一个方面, DeFi 世界还没有真正触及到,即做出明智的决策,然后付诸行动。如果能让这些决策过程变得可信,就可以将整个系统统一起来,形成一个看起来像是真正去中心化的经济,而不仅仅是涉及不同经济博弈的原语的结算层。
我们认为这是一个巨大的机会,生态系统中已经有一些人开始构建这些组件。我们有一个团队创建了一个无需信任的投资组合管理器,它会根据你想要的比例买卖资产。例如,你希望 50% 是 Arweave 代币,50% 是稳定币。当这些东西的价格变化时,它会自动执行交易。这背后还有一个有趣的概念, AO 中有一个我们称之为 cron 消息的功能。这意味着进程可以自行唤醒,并决定在环境中自主地做一些事情。你可以设置你的对冲基金智能合约每隔五秒钟或五分钟唤醒一次,从网络获取数据,处理数据,并在环境中采取行动。这使得它变得完全自主,因为它可以与环境进行交互,从某种意义上说,它是「活」的。
在以太坊上执行智能合约需要外部触发,人们为解决这个问题构建了大量基础设施,但并不顺畅。而在 AO 中,这些功能是内置的。因此,你会在链上看到代理不断相互竞争的市场。这将以加密领域前所未见的方式,推动网络的使用量大幅增加。
NEAR . ai 的整体策略和开发重点
Lulu : NEAR . ai 正在推进一些有前景的用例,能告诉我们更多关于其他层面或整体策略以及一些重点吗?
Illia :确实在每一个层面都有许多事情在发生,有各种产品和项目可以集成。这一切显然都始于 NEAR 区块链本身。很多项目需要可扩展的区块链、某种形式的身份验证、支付和协调。NEAR 的智能合约使用 Rust 和 JavaScript 编写,这对很多用例来说非常方便。一个有趣的事情是,NEAR 最近的协议升级推出了所谓的 yield/resume 预编译。这些预编译允许智能合约暂停执行,等待外部事件发生,无论是另一个智能合约还是 AI 推理,然后恢复执行。这对于需要从 LLM(如 ChatGPT)或可验证的推理中获得输入的智能合约非常有用。
我们还推出了链抽象和链签名功能,这是过去半年 NEAR 引入的独特功能之一。任何 NEAR 账户都可以在其他链上进行交易。这对构建代理、 AI 推理或其他基础设施都非常有用,因为现在你可以通过 NEAR 进行跨链交易,而不必担心交易费用、代币、 RPC 和其他基础设施。这些都通过链签名基础设施为你处理。普通用户也可以使用这一功能。 Telegram 上有一个基于 NEAR 构建的 HOT Wallet ,实际上在主网上刚刚推出 Base 集成,大约有 14 万用户通过这个 Telegram 钱包使用 Base 。
更进一步,我们打算开发一个点对点网络,这将使代理、 AI 推理节点和其他存储节点等参与到更可证明的通信协议中。这非常重要,因为目前的网络堆栈非常有限,没有原生的支付功能。尽管我们通常说区块链是「互联网货币」,但实际上我们还没有解决在网络层级上带着钱发送数据包的问题。我们正在解决这一问题,这对所有 AI 用例以及更广泛的 Web3 应用非常有用。
此外,我们还在开发所谓的 AI 推理路由器,这实际上是一个可以插入所有用例、中间件、去中心化推理、链上和链下数据提供商的地方。这个路由器可以作为一个框架,真正地将 NEAR 生态系统中所有正在构建的项目互联起来,然后将所有这些提供给 NEAR 的用户群体。 NEAR 在不同模型和应用程序中拥有超过 1500 万的月活跃用户。
一些应用程序正在探索如何将模型部署到用户设备上,即所谓的边缘计算。这种方法包括在本地存储数据,以及使用相关的协议和 SDK 进行操作。从隐私保护的角度来看,这非常有潜力。未来,许多应用程序将在用户设备上运行,生成或预编译用户体验,仅使用本地模型,从而避免数据泄露。作为开发者,我们有很多研究在进行,目的是让任何人都能轻松地在 Web3 上构建和发布应用程序,并在后端进行正式验证。这将成为未来的重要话题,因为 OLLM 模型在发现代码库漏洞方面越来越强大。
总之,这是一个完整的技术栈,从底层的区块链基础设施,到 Web3 的链抽象,再到点对点连接,非常适用于连接链下和链上参与者。接下来是 AI 推理路由中心和本地数据存储的应用程序,特别适用于需要访问私人数据而不泄露给外部的情况。最后,开发者将所有研究成果整合起来,目标是让未来的应用程序由 AI 构建。中长期来看,这将是一个非常重要的发展方向。
AO 的优先事项和研究重点
Lulu :想请教一下 Sam , AO 目前的优先事项和研究重点有哪些?
Sam :其中一个我个人特别感兴趣的想法是利用 AO 提供的扩展功能,建立一个确定性的 CUDA 子集,一个抽象的 GPU 驱动程序。通常情况下,GPU 计算不是确定性的,因此不能像在 AO 上那样安全地用于计算,至少不能安全地使用,因此没有人会信任这些进程。如果我们能解决这个问题,从理论上讲是可能的,只需要处理设备级别的不确定性问题。已经有一些有趣的研究,但需要以一种可以始终 100% 确定的方式处理这个问题,这对于智能合约的执行至关重要。我们已经有了支持这一功能的插件系统作为 AO 内部的驱动程序。框架已经有了,我们只需要弄清楚如何精确地实现它。尽管有很多技术细节,但基本上是要使 GPU 环境中的作业加载足够可预测,以便用于这类计算。
另一个我感兴趣的是,能否利用这种链上 AI 的能力,使我们能够进行去中心化或至少是开放和分布式的模型训练,尤其是微调模型。基本思路是,如果你可以为某个任务设定一个明确的评判标准,就可以针对这个标准训练模型。我们能否创建一个系统,让人们投入代币鼓励矿工竞争以构建更好的模型?虽然这可能不会吸引非常多样化的矿工,但这并不重要,因为它允许以开放的方式进行模型训练。然后,当矿工上传模型时,他们可以添加通用数据许可证标签,规定任何人可以使用这些模型,但如果用于商业用途,则必须支付特定的版税。版税可以通过代币分配给贡献者。这样,通过结合所有这些要素,就可以创建一种激励机制来训练开源模型。
我还认为之前提到的 R AI L 计划也非常重要。我们已经与一些主要的 AI 提供商或推理提供商讨论了支持这个计划的可能性,他们确实表现出了浓厚的兴趣。如果我们能让他们真正实施并在网络上写入这些数据,那么用户就能通过右键点击互联网的任何图片,查询这张图片是用 Stable Diffusion 生成的,还是用 DALL · E 生成的。这些都是我们目前在探索的非常有趣的领域。
Illia 和 Sam 各自看好的项目
Lulu :请各自提名一个最近喜欢的 AI 或加密项目,可以是任何项目。
Illia :我打算取个巧。我们每周都会举行 AI Office Hours,邀请一些项目,最近有 Masa 和 Compute Labs。两个项目都非常棒,我就以 Compute Labs 为例。Compute Labs 基本上将实际的计算资源(如 GPU 和其他硬件)转化为一种可供经济参与的真实资产,使用户能够从这些设备中获得收益。当前,加密领域的计算市场发展火热,它们似乎是加密货币促进市场的自然场所。但问题是这些市场缺乏护城河和网络效应,导致竞争激烈和利润压缩。因此,计算市场只是其他商业模式的一种补充。Compute Labs 提供了一种非常加密原生的商业模式,即资本形成和资产去碳化。它为人们创造了通常需要建立数据中心才能参与的机会。计算市场只是其中的一部分,主要目的是提供计算资源的访问。这种模式也契合了更广泛的去中心化 AI 生态系统,通过提供底层的计算资源,为更广泛的投资者群体参与创新提供了机会。
Sam :我在 AO 生态系统中有很多很棒的项目,我不想偏袒任何一个,但我认为 Autonomous Finance 正在构建的底层基础设施,使得「代理金融」成为可能。这非常酷,他们在这方面真的走在前列。我还想感谢更广泛的开源 AI 社区,特别是 Meta 开源 Lama 模型的做法,推动了许多其他人开源他们的模型。如果没有这种趋势,当 OpenAI 在 GPT-2 之后变成 ClosedAI,我们或许会陷入一片黑暗,特别是在加密领域,因为我们将无法接触到这些模型。大家只能从一两家主要提供商那里租用这些闭源模型。目前这种情况没有发生,这非常好。尽管讽刺,但还是要给 Web2 之王 Meta 点赞。