一文详解Filecoin推出的AWS开源替代方案FWS
原文标题:《Filecoin推出FWS(Filecoin Web Service)!》
作者:Filecoin Network
对我们的工程团队来说,这是一次重要的发布日。
生态里的工程团队在Filecoin Web Services项目上来到了一个重要的里程碑——这次FWS发布,意味着开源替代方案在开始提供AWS、GCP和Azure这类服务的替代品。这个平台利用了Filecoin这个世界上最大的去中心化存储网络的潜力。
这个消息的发布,为向全世界开发者提供实际可用的云服务替代方案迈出了重要的一步。
什么是FWS?
FWS(Filecoin Web Services) 是在Filecoin网络上搭建的一系列计算和存储技术。Filecoin网络是一个去中心化网络,内置了网络收入生成机制和激励机制。我们意识到云服务提供了很好的开发者体验,因此我们的雄心之一,就是在去中心化网络可以提供的透明、开源激励层之上提供云级别的开发者体验。
这个技术栈涵盖了不同的组件,如计算、存储和网络资源,可被开发者用于搭建去中心化应用。Filecoin Web Services提供的组件从设计的时候就旨在实现可扩展性、灵活性和安全性,让其适合用于广泛的用例。
FWS产品线
Estuary
https://estuary.tech
Estuary由不同的组件组成,如Estuary Node,这是一个容易部署和管理的Filecoin存储节点此外,Estuary Dashboard仪表盘提供了对用户友好的界面,用于在这个网络上监控和管理存储交易提议。Estuary也提供了不同的开发者工具和API接口(如Estuary API),让开发者可以在Filecoin上搭建存储应用。此外还有Estuary SDK,它提供了一系列库和工具,用于实现与这个网络的整合需求。
Delta技术栈
https://delta.store
Delta技术栈(Delta Technology Stack)是一个开源工具套件,用于创建和管理Filecoin网络存储交易提议。这包括Deltac存储交易提议协商引擎(Deal Making Engine)、Delta大型数据集管理器(Dataset Manager for large datasets)和用于为未封装副本(unsealed copies)提供存储和对外访问服务的Edge-UR Gateway网关。
细说Delta
Delta可简化Filecoin网络上准备和管理存储交易提议的流程。Delta可用于管理数据(包括版本管理、元数据管理和追踪存储交易提议状态),这些都让用户更容易在Filecoin网络上发布自己的数据。
Delta存储交易提议协商引擎让用户可以指定存储交易提议的条款,如所需的存储空间、价格及交易条件。之后,这个平台会使用Filecoin网络的智能合约来强制执行存储交易提议 条款和促成交易。
Delta可将在Filecoin网络上准备执行存储交易提议的复杂过程封装起来,为那些想在Filecoin去中心化存储网络上存储自己数据副本的用户提供了无缝的体验。
特性:
- 存储交易提议计划书准备和公告
- 存储片(Piece)提交计算和优化
- E2E/导入支持(在线/离线)
- 自动/手动修复和更新存储交易提议
- 钱包分配
- 存储提供者分配和选择
- Blockstore清理
- 存储交易提议状态管理
- 副本管理
Delta数据集管理器
Delta数据集管理器(Dataset Manager ,Delta DM) 工具为那些通过导入存储交易提议(out-of-band带外流程)而上载到Filecoin网络的数据集提供存储交易提议副本管理追踪服务。这为快速达成大量数据的存储交易提议提供了解决方案,因为这种场景最好使用带外流程来加速。
Delta DM平台提供了直观的web界面,可简化管理数据集的流程。它跟踪副本和DataCap配额,通过存储交易提议拉取(pull)机制为客户服务提供者(Client Service Providers)提供了自助服务。
这个工具与数据准备和数据传输的流程可以独立开来,可以在Boost和Lotus之外运行,让Delta DM + Delta作为独立的解决方案来运作。
Delta导入器
Delta导入器(Importer)是一个独立的二进制程序,旨在运行在一个存储提供者基础设施之上。它将CAR文件从文件系统导入Boost的流程自动化了。通过与Delta DM整合来从自主服务API请求存储交易提议,Delta Importer促成了自动化存储交易协商和存储交易提议纳入的流水线。Delta DM有多个运作模式,覆盖了一系列不同的数据纳入策略。
即将到来的:
- 失效存储交易提议自动修复
- Retrieval-SP——为未封装副本指定一个单一的位置。
- SP Metadata——详细的副本参数
Edge-UR
Edge-UR是让用户在Estuary上用相同API密钥来上传和检索内容的专门节点。每一个用户都会分配到自己的节点,这些节点可以无缝切换上传协议。虽然数据还是要通过HTTP协议上传,Edge-UR节点可以帮助将文件传输到Delta节点,从而达成存储交易提议。
总的来说,Edge-UR简化往Estuary 上传和检索数据的流程,同时保证了用户内容的安全性和可控性。
特性:
- 轻量级IPFS节点,可与IPFS节点连通。
- 上传和检索——用户可以上传数据并在之后马上检索数据。
- 使用Delta实现异步达成存储交易提议。
- 追踪内容和其相关存储交易提议。
Ptolemy
Ptolemy旨在作为一个编排引擎(orchestration engine),处理那些通常局限在S3 存储桶或相似文件系统的大型数据集。Ptolemy可在CAR文件里封装整个文件系统架构,用于达成存储交易提议。Ptolemy的目标是为存储提供者和终端用户移除数据准备相关的繁琐工作。
FWI
Filecoin Web Infrastructure(Web基础设施)向去中心化迈出了重要一步。它作为存储交易提议达成引擎和其他Filecoin技术、服务的蓝图,描绘了一个低成本、可靠的计算和存储方案,将Filecoin网络又向前推了一步。它是一个可扩展的计算集群存储系统和可视化集群,它包括了高可用性设计和Kubernetes编排工具.
FWI是一个开源的自动化工具,也是以代码形式提供的基础设施,能让你搭建自己的“类FWI-alikes”应用,在自己的硬件上、以自己的条件运行自己的企业级客户基础设施。它可匹配不同硬件和软件,所有组件都是可插拔和开源的。
FWI还有很多好处——其中之一是实现客户专属基础设施(Customer Provisioned Infrastructure),让工程团队可以代表客户运行基础设施,并收取FIL作为回报——这是一个重大突破。这项工作会在未来几周细节讨论。
存储市场
https://storage.market/
Storage.market作为数据存储产品的信息中心,为用户提供存储市场的分析数据和最新的数据存储相关新闻。这项服务对那些想及时了解产业趋势和作出存储产品、服务相关仔细决策的企业和个人来说尤其有用。
用户落地
为了往Filecoin网络上载数据,用户需要使用特定工具和应用,让他们可以与网络互动并之行不同运作流程(如上传、检索和管理数据)。这就是Filecoin生态系统想服务的环节:我们的工程团队正与一些客户合作,他们正使用我们团队的专业知识和工具,搭建往Filecoin网络上载数据的解决方案。
与多个客户在这些项目上合作是具有挑战性的。因为每一名客户都有自己的需求、用例和不同的技术能力。不过,通过我们对Filecoin网络架构、协议和特性,以及对客户需求和期望的了解,我们可以开发定制方案,满足他们的需求,帮助他们利用去中心化存储的好处。
与Radiant Earth合作
Radiant Earth这个创新机构旨在通过使用机器学习和地球观察(EO)技术,来推动积极的全球影响。他们提供了一系列高质量的开放资源,这些资源得到了全球专业人士和研究人员的信任。
Radiant Earth其中一项核心使命,就是培育一个实践社区,在机器学习进行地球观察的任务上开发相关标准。这涉及聚集机器学习、地球观察及相关领域的专家,来协作、分享知识和开发最佳实践标准,从而以负责、高效的方式使用这些技术。
作为我们与Radiant Earth合作的一部分,我们使用自有技术栈往Filecoin网络上载了他们一小部分的机器学习和地球观察数据。我们了解实现这个任务的必要步骤,通过我们的工具,确保了他们的数据有妥善格式、被安全存储、可轻松访问。
我们使用的工具:
- Ptolemy
- Delta Dataset Manager
- Delta Deal Making Engine
- Delta Importer
进一步了解Radiant Earth https://mlhub.earth/
与SUCHO合作
SUCHO这个杰出的计划由全球1,500名志愿者在推动,他们正在网上协作,来数字化和保护Ukraine的文化遗产。在持续的冲突中,SUCHO已经行动起来,来保存Ukraine文化机构所属的5,000多个网站和~40TB数据,通过全球5个不同的存储提供者,防止这些宝贵的资源丢失或下线。
我们使用的工具:
- Ptolemy
- Delta Dataset Manager
- Delta Deal Making Engine
- Delta Importer
进一步了解SUCHO: https://www.sucho.org/
与Encloud合作
Encloud专注于数据安全,他们意识到使用Filecoin进一步提升其安全特性同时为用户提供自由访问的重要性。
我们正与Encloud在这方面合作,向他们开放我们的在线Edge-UR节点,来测试其概念验证模型。
我们使用的工具:
- Delta
- Edge-UR