两次荣获以太坊基金会扶持,EthStorage会成为以太坊的存储中心吗?
作者:Alfred,LDCapital
今年热度最高的赛道之一应该是增强区块链可拓展性的 L2 赛道,成功落地后,更快的速度和更低的费用将催生 Web3 应用的逐步繁荣,未来大量数据的产生将对存储提出爆发的需求。本文将以今年 EDCON Spuer Demo 中第一名 EthStorage 为重点,回看近期市场热度较低,但潜力巨大的去中心化存储赛道。
一、网络存储的发展进程
共识、计算和存储并称为 web3 的三大支柱和底层基础设施,有数据和信息产生便需要存储,在计算机诞生以来,存储技术一直在探寻与突破中发展,本文将其划分为四个阶段。
1、集中式存储:集中存储 + 集中管理
计算机最早开始使用纸带记录数据,后来 IBM 在 1956 年制造出第一块硬盘作为存储介质便进入到我们当前熟悉的计算机存储方式。
集中式存储的设备一直在迭代,硬盘,磁带,存储卡,SSD 等,但是存储架构是固定的,终端设备可以通过网络向存储资源处访问和请求数据,但所有的数据存储资源都集中在一个中央位置或服务器上,统一控制和管理。
2、云存储:分布式存储 + 集中管理
2006 年 Amazon AWS 上线,推出了 EC2 和 S3 云存储服务,至此存储进入了一个新时代,微软,谷歌,阿里等也纷纷跟进,成为现在应用最广的存储方式。
云存储应用了分布式存储架构,使用多台服务器分散存储数据,把数据分割在多个服务器备份,降低单点故障并具有减少数据冗余,可弹性拓展等特性。不过云储存的服务器都归云服务提供商集中管理,数据的实际控制权并不归属用户。
3、传统区块链存储:分布式、全节点存储 + 去中心化管理
自比特币诞生以来,区块链网络存储成为了一种与中心化存储与管理相对的方案,区块链通过分布式存储、共识机制和交易验证机制,确保了数据安全和不可篡改,同时满足了去中心化存储和去中心化管理的特点。
但是,比特币,以太坊等区块链网络的存储费用高,效率低,主要在于这些区块链的网络架构并不是从存储的角度去设计,每个节点都要存储一份数据副本,并且区块空间有限。以无聊猿 NFT 为例,在比特币或以太坊网络存储一张至少需要数百美元以上。
来源:Fundamental Labs
4、Web3 去中心化存储:分布式、多节点存储 + 去中心化管理
因为直接在区块链上存储数据是非常昂贵的,便涌现了很多 web3 的去中心化存储方案及项目,如 IFPS,Filecoin,Storj,Arweave,Swarm,EthStorage 等,这些项目的目标是在保持去中心化存储与管理的基础上,增大存储空间和降低费用,通过数据分割、多节点存储、链上证明等技术组合来实现。
二、ETH 模块化与世界计算机
1、ETH 模块化
自 2021 年 ETH 规划以 Rollup 为中心的路线图开始,以太坊的模块化便开始建立,将单一全能链(* 单片区块链)的各层次进行拆分,不同层的功能可以由不同的模块或链承担而进行扩容,这一方向也被 Vitalik 称为终局 -Endgame。
以太坊为代表的区块链将链拆分成四个关键层级:
(1)执行层 (*Execution Layer):事务处理,智能合约执行及计算等
(2)结算层(*Settlement Layer):验证执行结果,解决争议及结算状态承诺。
(3)共识层 (*Consensus Layer):决定交易的顺序性、有效性以及节点之间的一致性
(4)数据可用层(*Data Availability Layer):保证数据可以被使用,保证存储且可验证
在单片区块链链时,区块链是处理所有四个功能的链,会面临区块链「三难问题」。区块链模块化可将四个功能拆分到多个专门层中,分别解决不同问题。
在 ETH 进行模块化之后,ETH 主链成为了 L1,在此之上诞生了众多 L2,主要来充当 ETH 的执行层,如 OP Stack 的 L2 技术也发展了模块化的架构,以增强未来的可拓展性。ETH 通过模块化 +Rollup 的方向,在未来会主要保持数据可用层(*DA)和共识层,成为主流和最安全的基础层,其他层的功能通过其他的链和方案来升级,进行整个 ETH 生态的扩容和提高可拓展性。
2、世界计算机
以太坊的目标是构建一个世界超级计算机,当前以太坊在安全性上做的很好,但是在拓展性上还在进行突破,Rollup 是解决拓展性的重要方向,模块化的方式可以一定程度解决区块链的三难问题,但是成为超级计算机,也需要面对三个难题,分别是共识、计算和存储。这三个难题也相互制约关系。
来源:《Towards World Supercomputer》
这个三难困境的不同优先级将导致不同的权衡:
- 强共识账本:本质上需要重复的存储和计算,因此不适合扩展存储和计算。
- 强计算能力:需要在执行大量计算和证明任务时重复使用共识,因此不适合大规模存储。
- 强存储能力:需要在执行频繁的随机抽样空间证明时重复使用共识,因此不适合计算。
当前,传统的 L2 方案还面临中心化排序器与计算效率平衡的问题,同时无法提供强存储能力。《Towards World Supercomputer》一文的作者们提出了以世界计算机按功能分区为底层架构,分别进行拓展的方式来解决成为世界计算机的三难困境。
即最终的世界超级计算机将由三个拓扑异构的 P2P 网络组成,与构建物理计算机类似,通过零知识证明技术等无信任总线(* 连接器)连接共识账本、计算网络和存储网络,组装成世界超级计算机。并可以根据特定应用的需要添加其他组件,适当选择和连接每个组件将实现共识账本、计算能力和存储容量三难困境的平衡,最终确保世界超级计算机的去中心化、高性能和安全性。其中,EthStorage 在架构中充当超级计算机中存储板块的解决方案。
来源:《Towards World Supercomputer》
若基于该框架,以太坊的世界超级计算机交易过程将分为以下几个步骤:
- 共识:使用以太坊处理和达成交易共识。
- 计算:zkOracle 网络通过快速验证由 zkPoS 作为总线传递的证明和共识数据,执行相关的链下计算。
- 共识:在某些情况下,例如自动化和机器学习,计算网络将通过证明将数据和交易传回以太坊或 EthStorage。
- 存储:对于从以太坊存储大量数据(* 例如 NFT 元数据),zkPoS 充当以太坊智能合约和 EthStorage 之间的信使。
来源:《Towards World Supercomputer》
三、ETH Storage
1、简介
EthStorage 是第一个基于以太坊数据可用(*Data Availability)的基础上提供可编程的动态存储的二层解决方案,它能将以 1/100 倍到 1/1000 倍的成本将可编程存储扩展到数百 TB 甚至 PB级别。
团队两次荣获以太坊基金会的资金(*Grant)扶持,帮助以太坊进行数据可用(*Data Availability)和使用以太坊 L1 合约的 L2 动态数据集存储证明方向的研究工作。并获得了 2023 EDCON Spuer Demo 的第一名。
2、技术特点
高度集成 ETH
EthStorage 的客户端是以太坊客户端 Geth 的超集,这意味着运行 EthStorage 的节点的时候,依然可以正常参与以太坊的任何流程,一个节点可以是以太坊的验证者节点的同时也是 EthStorage 的数据节点。每个 EthStorage Nod 的 Data Provider 模块会跟其他 EthStorage Node 的 Data Provider 发起建立连接请求,当它们互相连接之后,实际上就构成了一个去中心化存储网络。
来源:《EthStorage — 第一个 Ethereum 存储 L2》
使用 EthStorage 的用户可以直接使用现有的钱包,与所有建立在存储之上的应用进行交互,无论是 NFT,去中心化的社交网络还是去中心化的游戏,可以最大程度地降低用户进入 EthStorage 的门槛。同时,兼容 EVM 的 EthStorage 可以给智能合约带来优秀的互操作性,比如用户 A 希望给自己 mint 的 NFT 设置一张图片,通过 Ethstorage A 只需要执行一笔以太坊交易,使用 Arweave 的时候,A 需要提交 1 笔 Arweave 交易和两笔以太坊交易,并且没办法像 EthStorage 一样做到同步执行。
来源:《EthStorage — 第一个 Ethereum 存储 L2》
基于 DA 层的 L2 去中心化解决方案
EthStorage 实际上采用的是类似 L2 的架构,在以太坊上会部署一个存储合约作为 EthStorage 的数据操作的入口,同时数据节点链下存储数据(*off chain storage data)的证明也需要通过这个合约验证。
与当前的 L2 对比:
- Rollup(L2) 链下存储的是状态树,链上的承诺 (*commitment) 是状态树根,同时 Rollup 在接受到新的数据之后还需要在链下执行交易来完成状态转化的过程,建立新的状态树;
- EthStorage 链下存储的是数据,链上的承诺(*commitment)是数据存储的证明,同时 EthStorage 接受到更新存储数据的请求之后,会重新为这些数据生成新的存储证明。
以上可以看出,当前的 Optimism Rollup 或者 ZK-Rollup 的扩容的方向是扩容以太坊的计算能力,而 EthStorage Rollup 的扩容方向是扩容以太坊存储数据能力。
同时,EthStorage 是一个模块化的存储层,只要有 EVM,有 DA 来减少存储成本,就可以在任何区块链上运行它(* 但当前很多 Layer1 不具备 DA 层),甚至在 Layer2 上也可以。例如,EthStorage 目前正在考虑如何使用其技术在 Optimism 上实现欺诈证明。也在 Optimism 上启用了相应的 DA 层。
可实现动态存储
Filecoin 和 Arweave 从系统设计架构来看,更多的是用于静态的,大量数据可以上传到去中心化存储中,但是不能被修改或删除,只能重新上传新的数据。得益于 key-value 的存储范式,EthStorage 可以支持 CRUD, 即创建新的存储数据,更新存储数据,读取存储数据和删除存储数据。这在中心化存储领域是很容易实现的,但是在去中心化存储领域目前只有 EthStorage 可以做到。
来源:EthStorage 官方
创建以太坊网络访问协议
在 Web2 的互联网上浏览网页、发送电子邮件、下载文件等一系列行为,都离不开 HTTP 协议,它是互联网上最为常见的协议之一。HTTP 协议定义了客户端和服务器之间如何传输和交换资源,URL 是指定这些资源在互联网上的位置的标识。当在 Web 浏览器中输入一个网址或点击链接时,会触发一个 HTTP 请求,该请求使用 URL 来确定要请求的资源。Web 浏览器会解析 URL,然后使用 HTTP 协议与服务器通信,请求特定的资源,并在服务器响应后将资源显示给用户。HTTP 协议和 URL 紧密协作,共同构成了在 Web 上浏览、交互和传输资源的基础。但是,Web2 网页或互联网服务的数据是托管在中心化的服务器之中的,当停止为服务器续费,应用所使用的云服务会停止,应用的数据将会被中心化的服务方删除。
EthStorage 创始人周期提出了基于 Web3 的网络访问协议 — ERC-4804 ,通过 EIP 最终审核并获批。ERC-4804,全名为 EVM 调用信息解译的 Web3 URL,它是一个 HTTP 风格的 Web3 URL (*web3://) 到 EVM 的信息调用,是以太坊上的第一个网络访问协议。与 web2 通过访问服务器资源的方式不同,web3:// Access protocol 通过 Web3 URL 直接去渲染在以太坊智能合约上面托管的资源,包括 HTML、CSS、PDF 等这样的文件。
简单来说,web3://(*http://web3url.io)是去中心化的 http://。它为以太坊添加一个去中心化的表示层,可以让用户直接浏览 EVM 上的网页内容,比如网页、图片、歌曲等,而 EVM 作为去中心化的后端。
来源:EthStorage 官方
3、现状与计划
产品应用
通过 EthStorage,将能以去中心化存储为底层来重新启用互联网应用(* 当前很多 Dapp 依然使用中心化的方式存储数据),比如动态 NFT、链上音乐 NFT、个人网站,无主机钱包、Dapp,Deweb 等。
来源:EthStorage 官方
以 DeWeb 举例:
我们知道以太坊是一个去中心化的网络,在以太坊上面诞生了很多去中心化的 dapp,可这些 dapp 并不是完全去中心化的,很多应用的前端依然是通过中心化的云服务在托管,像 Uniswap 的前端网页宕机,删除交易对以及 Tornado.Cash 因为涉嫌洗钱被监管而导致前端服务停用等都是因为其前端是托管在中心化的服务器上面,无法有效抗审查。但是使用 EthStorage 的方案,网页文件和数据被托管在智能合约中,由去中心化的网络共同运行和维护,使得抗审查性大大提高。通过智能合约的可编程性实现 DeWeb,可以实现很多有意思的应用,比如 De-github,De-blog,以及各种 dapp 的前端。
来源:EthStorage 官方
当前 EthStorage 没有公布代币计划,但是在测试网可以通过测试代币 W3Q 与进行测试网使用与交互。
路线图
根据 EDCON 公布的路线图,2023 年,EthStorage 主要在测试网阶段,并会适配以太坊坎昆升级进行开发与测试。在 2024 年可能进行主网上线,将会完全集成 Danksharding,CL+EL 客户端和 Web3 浏览器访问。
来源:EthStorage 官方
四、其他存储项目速览
Filecoin:Filecoin 是构建于 IPFS 之上的带有激励制度的去中心化存储网络。IPFS 是使用分布式哈希表 (*DHT) ,是一种用于存储、寻址和传输数据的协议(* 类比 http 协议)Filecoin 充当 IPFS 的激励层,同时也充当开放存储市场。Filecoin 使用基于合约的模型来确保数据的持久性并结合零知识证明,特别是时空证明和复制证明。 在今年 3 月 14 日 Filecoin 宣布正式启动虚拟机(*FVM)以支持智能合约和用户可编程性。
Filecoin 的特点是:具有单独的链与激励体系;静态存储的空间大、费用低;升级后支持 FVM 虚拟机。
Arweave:Arweave 采用「一次付费,永久存储」的模式,其中一次性付款涵盖了永久存储数据的成本,并且检索该数据无需额外付费。Arweave 使用随机访问的简洁证明,创建区块纺(*Blockweave)的原生数据结构,即每个区块都会链接上一个区块和一个历史 Recall Block。对于节点来说,铸造一个新区块的前提条件就是同步一个 Recall-Block 和最新生成的区块数据。
Arweave 的特点是:具有单独的链与激励体系;链上存储、永久存储;与其他链的互操作性较弱。
BNB Greenfield:Greenfield 专注于促进去中心化数据管理和访问,旨在通过简化数据存储和管理并将数据所有权与 BNB 智能链(*BSC)的 DeFi 环境联系起来。完整的 BNB Greenfield 系统,可以与成熟的 BSC 公链与 BN 社区用户的互通,当用户想要在 Greenfield 上创建和使用数据时,可以通过 BNB Greenfield dApps(* 去中心化应用程序)与 BNB Greenfield 核心基础设施进行交互。
BNB Greenfield 的特点是:Binance「三位一体」生态网络的最后拼图,生态内可操作性强,BNB 在各链流转使用;采用 Amazon S3「存储桶」的结构概念;链下存储、链上验证。
五、总结
存储是 Web3 网络的三大支柱之一,去中心化存储能够落地才能真正实现数据确权和主权网络,否则以牺牲中心化效率来发展区块链网络的意义不大。这个赛道属于底层基础,具有潜力且意义巨大。
当前,相对于其他赛道,去中心化存储在市场的热度较低,这主要是发展阶段未到与需求不足导致。当 L2 的发展使得 Dapp 的应用便宜而快速,大量数据的沉淀和价值诉求就会将市场热度推向去中心化存储赛道。
EthStorage 作为新兴项目拥有以太坊良好的生态基础,具有很强的互操作性,能和其他拥有 DA 层的 L1,L2 结合,给出了新的发展方向和解决方案。现今各去中心化存储项目也都有主攻的方向并在持续发展,期待市场的齿轮转向存储赛道的时代。
参考资料
1、EthStorage 官方
2、《Towards World Supercomputer》,Xiaohang Yu, Kartin, msfew — Hyper Oracle,Qi Zhou — ETHStorage
3、《EthStorage — 第一个 Ethereum 存储 L2》,0xhhh, 0xCryptolee
4、《Decentralized Storage:A Pillar of Web3》,Fundamental Labs
5、《模块化区块链:以太坊成为「世界计算机」的工程化方案》,IOBC Capital
6、《EthStorage:扩容以太坊生态的存储性能》,Mint Ventures