向世界超级计算机的方向迈进

超大规模去中心化执行的新范式

绪论

从比特币的点对点共识算法到以太坊的EVM，再到网络国家的概念，区块链社区一直以来的目标之一就是建立一个世界级超级计算机，更为具体地说，是一个去中心化、不可阻挡、无需信任、可扩展的统一状态机。虽然早已知道这一切在理论上是可行的，但到目前为止，大多数正在进行的努力都非常零散，并且存在严重的权衡和限制。在本文中，我们将探讨现有试图构建世界计算机的努力所面临的权衡和限制，然后分析这样一台机器所必需的组件，最后提出一个创新的世界超级计算机架构。

1. 当前方法的限制

a) 以太坊和L2 Rollups

以太坊是建立世界超级计算机的第一个真正意义上的尝试，也可以说是最成功的尝试。然而，在其发展过程中，以太坊在很大程度上优先考虑了去中心化和安全，而非可扩展性和性能。因此，虽然其可靠，但原版以太坊与世界超级计算机相距甚远，没有可扩展性。

当前的解决方案是L2 Rollups，它已成为增强以太坊世界计算机性能的最广泛采用的扩展解决方案。作为在以太坊之上构建的一个附加层，L2 Rollups凸显出了显著的好处并得到了社区的拥护。

虽然存在几种L2 Rollups的定义，但一般一致的看法是，L2 Rollups是具有链上数据可用性和以太坊或其他基础网络上的链下交易执行的两个关键特征的网络。基本上，历史状态或输入交易数据的公共可访问性和在以太坊上验证承诺，但所有单个交易和状态转换都被移出主网。

虽然L2 Rollups确实极大地提高了这些“全球计算机”的性能，但其中许多都存在中心化风险[1]，这从根本上破坏了作为去中心化网络的区块链原则。这是因为链下执行不仅涉及单个状态转换，还涉及这些交易的排序或批处理。在大多数情况下[2]，L2序列器进行排序，而L2验证器计算新状态。然而，为L2序列器提供这种排序能力会带来中心化风险，其中中心化的序列器可以滥用他们的权力任意审查交易，破坏网络活力并从MEV捕获中获利。

尽管已经有很多讨论减少这种L2中心化风险的方法，例如通过共享、外包或基于序列器的解决方案[3]、基于权衡的解决方案或去中心化的序列器解决方案（例如PoA、PoS领导者选择、MEV拍卖和PoE [4]），但其中许多尝试仍处于概念设计阶段，远非解决这个问题的万灵药[5]。此外，许多L2项目似乎不愿意实施去中心化的序列器解决方案。例如，Arbitrum建议去中心化的序列器可能成为一个可选功能[6]。除了集中式序列器问题之外，L2 Rollup可能存在来自高全节点硬件要求、治理风险和应用程序Rollup趋势的中心化问题，我们不会详细讨论。

b) L2 Rollups和世界计算机三难题

基于L2来扩展以太坊所依赖的所有这些中心化问题，暴露了一个根本性问题，即从经典区块链“三难题”中导出的“世界计算机三难题”：

在这个三难题中，不同的优先级会导致不同的权衡：

1）强一致性分类账：固有地需要重复的存储和计算，因此不适合扩展存储和计算。

2）强计算能力：需要在执行大量计算和证明任务的同时重复使用共识，因此不适合大规模存储。

3）强存储容量：需要在执行频繁的随机采样空间证明时重复使用共识，因此不适合计算。

事实上，传统的L2方案确实是以模块化的方式构建世界计算机。然而，因为不同的功能没有基于上述优先级进行分区，即使进行了扩展，世界计算机仍然是以太坊原始的主机架构[7]。这种架构无法满足其他功能，如去中心化和性能，也无法解决世界计算机的三难题。

换句话说，L2 Rollups实际上实现了以下功能：

1）世界计算机的模块化[8]（通过在共识层上进行一些外部信任的集中式序列器实验）

2）世界计算机的吞吐量增强（虽然不严格是“扩展”[9]）

3）世界计算机的开放创新

然而，L2 Rollups并没有提供：

1）世界计算机的去中心化

2）世界计算机性能增强（Rollups的最大TPS实际上不足够[10]，而L2不能比L1具有更快的终止性[11]）

3）世界计算机的计算（涉及除事务处理外的计算，如机器学习和预言机[12]）

虽然世界计算机架构可以有L2和模块化区块链，但它并没有解决根本问题。L2可以解决区块链三难题，但无法解决世界计算机本身的三难题。因此，正如我们所见，当前的方法不足以真正实现以太坊最初设想的去中心化世界超级计算机。我们需要性能扩展与去中心化，而不是性能扩展带来的去中心化增量[13]。

2. 世界超级计算机的设计目标

为了实现这一目标，我们需要一个网络，可以解决真正的通用密集计算问题（特别是机器学习和预言机），同时保留基础层区块链的全面去中心化。此外，我们必须确保该网络能够支持高强度计算，例如机器学习（ML），这些计算可以直接在网络上运行，并最终在区块链上得到验证。此外，我们需要在现有的世界计算机实现之上提供充足的存储和计算能力，并采用以下目标和设计方法：

a) 计算需求

为满足世界计算机的需求和目的，我们在以太坊所描述的世界计算机概念上进行扩展，致力于实现一个世界超级计算机。

世界超级计算机首先需要在去中心化的方式下执行当今和未来的计算任务。为了为大规模采用做好准备，开发人员需要世界超级计算机来加速去中心化机器学习的发展和采用，以用于运行模型推理和验证。

像MorphAI [14]这样的大型模型将能够使用以太坊来分配推理任务并验证来自任何第三方节点的输出。

针对计算资源密集型任务，如机器学习，实现这样的目标不仅需要零知识证明等最小化信任的计算技术，还需要在去中心化网络上拥有更大的数据容量。这些是在单个P2P网络上无法完成的事情，比如经典的区块链。

b) 解决性能瓶颈的方案

在计算机的早期开发中，我们的先驱们面临着与现在相似的计算机性能瓶颈，因为他们在计算能力和存储容量之间进行权衡。以电路的最小组成部分为例。

我们可以将计算量与电灯泡/晶体管进行比较，将存储量与电容器进行比较。在电路中，电灯泡需要电流才能发光，类似于计算任务需要计算量才能执行。另一方面，电容器存储电荷，类似于存储可以存储数据。

对于相同电压和电流，可能存在在电灯泡和电容器之间的能量分配权衡。通常，更高的计算量需要更多电流来执行计算任务，因此需要更少的电容器存储能量。较大的电容器可以存储更多的能量，但可能会导致在更高计算量下的较低的计算性能。这种权衡导致在某些情况下计算和存储无法结合。

在von Neumann的计算机架构中，它引导了将存储设备与中央处理器分离的概念。类似于将电灯泡与电容器解耦，这可以解决我们的世界超级计算机系统的性能瓶颈。

此外，传统的高性能分布式数据库使用将存储和计算分离的设计。采用这种方案是因为它是完全兼容于世界超级计算机的特性。

c) 全新的架构拓扑

模块化区块链（包括L2 Rollups）和世界计算机架构之间的主要区别在于它们的目的：

1）模块化区块链[15]：旨在通过选择模块（共识、DA、结算和执行）来创建一个新的区块链，以将它们组合成一个模块化区块链。

2）世界超级计算机：旨在通过将网络（基础层区块链、存储网络、计算网络）组合成一个世界计算机，建立一个全球性的去中心化计算机/网络。

我们提出了在模块化区块链和L2之外的另一种选择。最终的世界超级计算机将由三个拓扑异构的P2P网络组成，通过一个无信任的总线（连接器）连接起来，例如零知识证明技术：共识账本、计算网络和存储网络。这种基本设置允许世界超级计算机解决世界计算机三难问题，并且可以根据特定应用程序的需要添加其他组件。

值得注意的是，拓扑异构不仅涵盖架构和结构方面的差异。它还包括在拓扑形式上的根本区别。例如，尽管以太坊和Cosmos在网络层和网络互联方面是异构的，它们在拓扑异构（区块链）方面仍然是等价的。

在世界超级计算机中，共识账本区块链采用完全图形式的区块链，而像Hyper Oracle的zkOracle网络是一个无账本网络，其节点是循环图形式的，而存储Rollup的网络结构则是由分区形成的子网络。

通过使用零知识证明作为数据总线，我们可以将三个拓扑异构的点对点网络（共识、计算和存储）连接起来，从而建立一个完全去中心化、不可阻挡、无权限限制和可扩展的世界超级计算机。

3. 世界超级计算机架构

类似于构建物理计算机，我们必须将先前提到的共识网络、计算网络和存储网络组装成一个世界超级计算机。

适当选择和连接每个组件将帮助我们在共识账本、计算能力和存储容量三难问题之间取得平衡，最终确保世界超级计算机的去中心化、高性能和安全性质。

世界超级计算机的架构，按其功能描述如下：

具有共识、计算和存储网络的世界超级计算机网络的节点结构类似于以下结构：

为了启动网络，世界超级计算机的节点将基于以太坊的去中心化基础架构。具有高计算性能的节点可以加入zkOracle的计算网络进行通用计算或机器学习的证明生成，而具有高存储容量的节点可以加入EthStorage的存储网络。

以上示例描述了同时运行以太坊和计算/存储网络的节点。对于只运行计算/存储网络的节点，它们可以通过基于零知识证明的总线（如zkPoS和zkNoSQL）访问最新的以太坊区块或证明存储的数据可用性，所有这些都无需信任。

a) 用于共识的以太坊

目前，世界超级计算机的共识网络专门使用以太坊。以太坊拥有强大的社会共识和网络级别的安全性，确保了去中心化的共识。

世界超级计算机建立在以共识账本为中心的架构上。共识账本具有两个主要角色：

1）为整个系统提供共识

2）定义CPU时钟周期和块间隔

与计算网络或存储网络相比，以太坊无法同时处理大量计算或存储大量通用数据。

在世界超级计算机中，以太坊是一个共识网络，用于存储L2 Rollup等数据可用性，为计算和存储网络达成共识，以及加载关键数据，以便计算网络可以执行更进一步的离线计算。

b）用于存储的存储Rollup

以太坊的Proto-danksharding和Danksharding本质上是扩展共识网络的方法。为了实现世界超级计算机所需的存储容量，我们需要一种既是以太坊本地的，又支持大量数据永久存储的解决方案。

存储Rollup，例如EthStorage，基本上为大规模存储扩展了以太坊。此外，由于计算资源密集型应用程序（如机器学习）需要大量内存才能在物理计算机上运行，因此需要注意的是以太坊的“内存”不能进行过度扩展。存储Rollup对于允许世界超级计算机运行计算密集型任务的“交换”是必要的。

此外，EthStorage提供了一个web3://访问协议（ERC-4804[16]），类似于世界超级计算机的本机URI或存储资源的寻址。

c）用于计算的zkOracle[17]网络

计算网络是世界超级计算机最重要的元素，因为它决定了整个性能。它必须能够处理诸如oracle或机器学习等复杂的计算，并且在访问和处理数据方面应该比共识网络和存储网络快。

zkOracle网络是一个去中心化的、最小化信任的计算网络，能够处理任意计算。任何正在运行的程序都会生成一个ZK证明，在使用时可以轻松地由共识（以太坊）或其他组件进行验证。

zkOracle网络Hyper Oracle，是由zkWASM和EZKL驱动的ZK节点网络，可以使用执行跟踪的证明运行任何计算。

zkOracle网络是一个无账本区块链（没有全局状态），遵循原始区块链（以太坊）的链式结构，但作为一个没有账本的计算网络运行。zkOracle网络不能通过再次执行来保证计算有效性，而是通过生成的证明来实现计算可验证性。无账本的设计和专用的计算节点设置使得像Hyper Oracle这样的zkOracle网络能够专注于高性能和最小化信任的计算。计算的结果直接输出到共识网络，而不是生成新的共识。

在zkOracle的计算网络中，每个计算单元或可执行文件都由一个zkGraph代表。这些zkGraph定义了计算网络的计算和证明生成行为，就像智能合约定义了共识网络的计算一样。

I. 一般的离线计算

zkOracle计算中的zkGraph程序可以在没有外部堆栈的情况下用于两种主要情况：

1）索引（访问区块链数据）

2）自动化（自动调用智能合约）

3）任何其他的离线计算

这两种场景可以满足任何智能合约开发者的中间件和基础设施要求。这意味着，作为世界超级计算机的开发者，您可以进行完整的端到端区块链开发流程，包括在共识网络上的链上智能合约和在计算网络上的链下计算，从而创建完整的去中心化应用程序。

II. ML/AI计算

为了实现互联网级别的采用，并支持任何应用场景，世界超级计算机需要以去中心化的方式支持机器学习计算。

同样通过零知识证明技术，机器学习和人工智能可以集成到世界超级计算机中，并在以太坊的共识网络上进行验证，真正实现链上计算。

在这种情况下，zkGraph可以连接到外部技术堆栈，因此将zkML本身与世界超级计算机的计算网络结合起来。这使得所有类型的zkML应用程序[18]得以实现：

1）用户隐私保护的ML/AI

2）模型隐私保护的ML/AI

3）具有计算有效性的ML/AI

为了实现世界超级计算机的机器学习和人工智能计算能力，zkGraph将与以下最先进的zkML技术堆栈相结合，为它们提供与共识网络和存储网络的直接集成。

1）EZKL [19]: 在zk-snark中对深度学习模型和其他计算图进行推断的技术。

2）Remainder [20]: Halo2 Prover中的快速机器学习操作技术。

3）circomlib-ml [21]: 用于机器学习的circom电路库。

e) zk作为数据总线

现在，我们已经拥有了世界超级计算机的所有基本组件，我们需要一个将它们全部连接起来的最终组件。我们需要一个可验证和最小化信任的总线，以便在组件之间进行通信和协调。

对于使用以太坊作为共识网络的世界超级计算机，Hyper Oracle zkPoS是zk总线的一个合适的候选人。zkPoS是zkOracle的关键组件，通过ZK验证以太坊的共识，使得以太坊的共识能够在任何环境中传播和得到验证。

作为一个去中心化的、最小化信任的总线，zkPoS可以通过存在ZK的情况下，用非常小的验证计算开销连接到世界超级计算机的所有组件。只要有一个像zkPoS这样的总线，数据就可以在世界超级计算机内自由地流动。

当以太坊的共识可以从共识层传递到总线作为世界超级计算机的初始共识数据时，zkPoS以状态/事件/事务证明进行证明。然后，结果数据可以传递到zkOracle网络的计算网络。

作为一个去中心化的、不信任的总线，zkPoS可以通过最小化的ZK验证计算连接世界超级计算机的所有组件。有了像zkPoS这样的总线，数据可以在世界超级计算机内自由流动

另外，对于存储网络的总线，EthStorage正在开发zkNoSQL以实现数据可用性证明，使得其他网络能够快速验证BLOBs具有足够的副本。

f) 另一种情况：以比特币为共识网络

与许多第二层自治关卡一样，像比特币这样的去中心化网络也可以作为世界超级计算机的基础共识网络。

为了支持这样一个世界超级计算机，我们需要替换zkPoS总线，因为比特币是一种基于PoW机制的区块链网络。

我们可以使用ZeroSync [22]来实现zk作为基于比特币的世界超级计算机的总线。ZeroSync类似于“zkPoW”，它通过零知识证明将比特币的共识与任何计算环境同步，使得任何计算环境都能够在毫秒内验证并获得最新的比特币状态。

g) 工作流程

以下是以以太坊为基础的世界超级计算机中的交易流程概述，分解为以下步骤：

1）共识：使用以太坊处理和协商交易。

2）计算：zkOracle网络通过zkPoS作为总线传递验证后的证明和共识数据，执行相关的链下计算（由从EthStorage加载的zkGraph定义）。

3）共识：在某些情况下，例如自动化和机器学习，计算网络将通过证明将数据和交易返回到以太坊或EthStorage。

4）存储：对于从以太坊存储大量数据（例如NFT元数据），zkPoS充当以太坊智能合约和EthStorage之间的传递者。

在整个流程中，总线在连接每个步骤方面发挥着重要作用：

1）当共识数据从以太坊传递到zkOracle网络的计算或EthStorage的存储时，zkPoS和状态/事件/交易证明生成证明，使接收方可以快速验证获取确切的数据，例如相应的交易。

2）当zkOracle网络需要从存储中加载计算所需的数据时，它通过zkPoS访问存储上数据的地址，然后使用zkNoSQL从存储中获取实际数据。

3）当zkOracle网络或以太坊的数据需要在最终输出形式中显示时，zkPoS为客户端（例如浏览器）生成证明，以便快速验证。

结论

比特币已经建立了一个可靠的基础来创建世界计算机v0 [23]，成功建立了一个“世界分类账”。之后，以太坊通过引入更可编程的智能合约机制有效地展示了“世界计算机”范例。考虑到去中心化的目标、密码学的本质信任度、MEV的自然经济激励、大规模采用的推动力、ZK技术的潜力以及最为重要的去中心化通用计算需求（包括机器学习等），世界超级计算机的出现已经成为必要。

我们提出的解决方案将通过使用零知识证明链接拓扑异构的点对点网络来构建世界超级计算机。作为共识分类账，以太坊将提供底层共识，并使用块间隔作为整个系统的时钟周期。作为存储网络，存储回滚将存储大量数据并提供一种URI标准来获取数据。作为计算网络，zkOracle网络将运行资源密集型计算并生成可验证的计算证明。作为数据总线，零知识证明技术将连接各种组件，允许将数据和共识连接和验证。

关于作者:

msfew（姚孙宁）就读于纽约大学计算机科学专业，并在Hyper Oracle从事研究工作。此前，他曾在Foresight Ventures、Google和银联工作。

Kartin是Hyper Oracle的联合创始人兼首席执行官。此前，他曾在Google和TikTok工作。

Xiaohang Yu是伦敦帝国学院的博士研究生，也是Hyper Oracle的核心研究员。此前，他曾在一家网络安全公司担任区块链研究负责人。

Qi zhou是EthStorage和QuarkChain的创始人，拥有美国乔治亚理工学院电机和计算机工程博士学位。

我们还要感谢以太坊基金会隐私和扩展探索团队的Cathie So以及Modulus Labs的Daniel Shorr对本文内容的审阅。

参考文献

[1] https://mirror.xyz/msfew.eth/KYcN_mB03V6cpc1LiMrHjA206LQQJkoh4zeIUjtLiC8

[2] https://twitter.com/bkiepuszewski/status/1645422967315111936

[3] https://twitter.com/0xDinoEggs/status/1643252532674801667

[4] Rollups aren’t Real

[5] The Definitive Guide to Sequencing