侵权投诉

IPFS存储的选型问题

高端存储知识 2021-01-06 17:52 次阅读

做SDS存储的都知道,现在IPFS挖矿项目很多。虽然西瓜哥平时不太关心区块链的东西,但IPFS挖矿,对存储的需求很大,因此经常有朋友和我探讨关于IPFS存储的选型问题。今天,我就转发一篇业界人士写的文章,供大家参考。

01

什么是 IPFS?

IPFS指星际文件系统(InterPlanetary File System)。IPFS 是一个分布式的Web,点到点超媒体协议。可以让我们的互联网速度更快,更加安全,并且更加开放。IPFS协议的目标是取代传统的互联网协议HTTP。

02

IPFS 对存储的要求

IPFS 引入 Filecoin 作为存储之上激励层,也就是 Filecoin 矿工存储数据的同时,会得到一部分 Fil 虚拟币收益。Filecoin 与其他区块链项目有相似之处但也有不同,不同点主要体现在以下几个方面:

1

质押

Filecoin 矿工在进行数据存储之前,需要提交一定的质押币,因为涉及到数据的完整性和安全性,所以官方对参与者设置了一定的门槛。如果出现错误,如存储系统无法访问,或数据丢失等情况,则可能不仅拿不到收益,还会把质押的 Fil 币全部扣除。

2

时空证明

与其他区块链项目不同的是,Filecoin 使用 PoSt(时空证明)作为共识算法。顾名思义,时空证明主要目的是证明数据在一段时间内占用存储系统的一部分空间。

时空证明的生成过程中,需要访问底层存储系统,所以存储系统的性能和稳定性就跟时空证明的正确性密切相关。如果 IPFS/Filecoin 参与者可以遵照规则提供稳定的时空证明,则参与者所获得收益也会随着存储数据量的增加而水涨船高。

3

惩罚机制

Filecoin 的惩罚机制比较复杂,同时也很严格,如果频繁出现失误,那就得不偿失了。跟存储相关的惩罚主要有下面几种:

A、时空证明出错

时空证明出错包括很多种情况,常见的如已封装的数据丢失或数据出错,会导致时空证明出错。而出错将会导致罚币。

B、未提交时空证明

如果 Filecoin 矿工不仅没有在一个证明周期内提交证明,而且延迟的时间甚至超过了生成攻击阈值,则会被系统认为证明没有提交。

C、违背合作

如果由于存储服务不可用,或存储系统故障导致矿工未能按照合约在规定时间内完整且安全的存储用户数据,则用户可以马上报告给主网。在确认情况属实后,将会对矿工进行处罚,扣除矿工的质押币和其后的挖矿收益。

03

IPFS后端存储选择

通过上面分析可以看出,IPFS 对数据存储的安全性和完整性具有非常高的要求,所以怎么选择存储,就变得非常重要。我们主要从三个维度来谈 IPFS 对存储方案的选择。

传统NAS or 分布式

对于传统 NAS 来说,元数据和数据使用本地存储,无法扩展,不具备高可用,同时受限于存储空间和性能,实际可保存的文件数有限,一般小于1亿,存储空间也为 TB 级别。分布式存储系统中,数据采用分布式架构,可扩展,具备高可用;一般情况下单命名空间中,文件数可支持百亿,容量也支持百 PB 到 EB 级别。

在 IPFS 场景中,传统 NAS 会有一定的用武之地,但分布式存储一定是趋势。分布式系统带来的高可用和容错,是非常契合 IPFS 底层存储需求的。

开源方案 or 企业级存储

对于 IPFS 场景,动辄几十 PB 上百 PB 的存储集群部署已经是常态了,在这种情况下如何保证大规模存储集群的数据安全和长期稳定运行就是 Filecoin 参与者们要思考的问题了。

随着数据量的持续不断增加,只有保证存储系统可以稳定提供服务的前提下,才可能做到收益最大化。开源方案短期内可能成本较低,但如果由于大规模下运维能力不足,对核心 IO 逻辑或者一些数据安全特性理解不透彻,则可能造成投资血本无归。所以长期来看,选择企业级存储方案是更优的选择。

对象存储 or 文件系统

IPFS 的底层存储类型选择上,目前市场主要有两种声音:文件系统 & 对象存储。

文件系统是以目录树的结构进行组织,以文件为单位进行存储的。对象存储则主要是以扁平化的结构进行组织,所有对象都平铺在存储桶中,与文件系统一个明显的不同是对象存储的接口协议是 S3(事实标准),而非 POSIX、NFS 等标准文件系统的访问方式,这也导致大部分场景无法做到直接适配。

对于 IPFS 场景来说,选择存储类型应该从以下几个方面来考虑:

1、数据规模:Filecoin 本身主要存储 32GB 大文件,所以需要存储文件的数量非常少,对象存储的海量小文件优势没法发挥;

2、存储结构:Filecoin 目录结构简单,实际只有1~2层目录,对于文件系统来说基本上是扁平的存储结构,对象存储同样没有什么优势;

3、应用对接:Filecoin 原生使用文件系统接口访问底层存储,如果使用文件存储可以做到无缝对接。如果使用对象存储,则需要进行 Filecoin 应用代码改造。这种情况下除了存储产品,存储厂商还需要提供持续的 Filecoin 社区的跟进服务,无论是应用改造还是社区跟进,都需要投入大量的人力成本,这部分成本最终将转嫁到整体方案成本中。

针对对象存储应用改造的部分,大致分为2块:

1、对象存储driver,这部分是指基于S3 SDK封装的对象存储客户端,以及用S3 API 模拟合并读等接口。

2,Filecoin 代码改造,这部分主要是指改lotus 相关代码库,以让lotus 支持新的对象存储driver,包括合并读等接口。

实际上 Filecoin 是一个非常典型的文件存储场景,并且仍然属于早期项目。项目本身还存在一些BUG和不稳定,在这种情况下选用存储厂商定制的 Filecoin 版本,并且跟随社区主线代码变更,如果碰到问题,无法确定是 Filecoin 问题还是存储厂商问题。

综上所述,这里比较建议选择分布式文件存储作为IPFS/Filecoin存储系统。

后记

技术角度,西瓜哥一直觉得对象存储是大趋势,可以替换很多分布式文件存储的场景。但看了这篇文章,我也觉得针对IPFS的挖矿场景,对象存储的优势没有发挥出来,反而分布式文件由于和社区代码良好的兼容性,无需像对象存储一样,紧跟社区代码不断升级迭代存储访问接口,稳定性和可运维性更佳。

责任编辑:xj

原文标题:为什么说IPFS挖矿应该选择分布式文件而不是对象存储?

文章出处:【微信公众号:高端存储知识】欢迎添加关注!文章转载请注明出处。

原文标题:为什么说IPFS挖矿应该选择分布式文件而不是对象存储?

文章出处:【微信号:High-end_Storage,微信公众号:高端存储知识】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

探究超大Transformer语言模型的分布式训练框架

NVIDIA Megatron 是一个基于 PyTorch 的框架,用于训练基于 Transform....
的头像 NVIDIA英伟达企业解决方案 发表于 10-20 09:25 304次 阅读

Redis分布式锁的常用实现方式

今天我们聊聊分布式锁。 1. 分布式锁是什么? 我们的手机有锁、车有锁、家门有锁、贵重物品会锁进保险....
的头像 数据分析与开发 发表于 10-15 09:38 135次 阅读

Redis分布式锁有什么特性

今天我们聊聊分布式锁。 1. 分布式锁是什么? 我们的手机有锁、车有锁、家门有锁、贵重物品会锁进保险....
的头像 Linux爱好者 发表于 10-12 16:42 235次 阅读

分布式软总线让阿里巴巴商家玩转多设备直播

一、引言 距离HarmonyOS 2正式发布已经过去三个多月了,最新数据显示已有超过1.2亿台设备升级到了HarmonyOS 2操作系统。然...
发表于 10-12 16:00 477次 阅读
分布式软总线让阿里巴巴商家玩转多设备直播

超大Transformer语言模型的分布式训练框架

NVIDIA Megatron 是一个基于 PyTorch 的框架,用于训练基于 Transform....
的头像 NVIDIA英伟达企业解决方案 发表于 10-11 16:46 153次 阅读
超大Transformer语言模型的分布式训练框架

如何通过分布式架构驱动下一代电动汽车系统

电动汽车 (EV) 和混合动力电动汽车 (HEV) 正在不断演进,其中的电子设备同样也在发生变化。在....
的头像 德州仪器 发表于 10-11 10:06 704次 阅读
如何通过分布式架构驱动下一代电动汽车系统

HarmonyOS教程—基于分布式数据接口,实现多种设备上一致的数据访问体验

1. 如何使用分布式数据库       介绍分布式数据服务(Distributed Data Service,DDS) 为应用程序提...
发表于 09-26 11:40 505次 阅读
HarmonyOS教程—基于分布式数据接口,实现多种设备上一致的数据访问体验

如何去实现一种分布式计算技术

分布式计算技术是什么? 如何去实现一种分布式计算技术? ...
发表于 09-24 07:52 0次 阅读

什么是不可变对象 不可变对象存储可以抵御哪些威胁

什么是不可变对象? 属性变更时必须新建对象的对象,如String,已有“String str=‘ab....
的头像 Les 发表于 09-19 11:44 183次 阅读

【木棉花】学习笔记--页面间跳转

前言大家好,我又回来啦。这一星期的学习时间又到了。那我们在前几个星期讲的都是harmonyOS里的分布式能力,可能学起来会相对较...
发表于 09-15 14:43 420次 阅读

HarmonyOS教程—分布式亲子早教系统

1. 项目介绍      远程教育,多屏协同是智慧教育的一个重要场景。本篇Codelab通过一个亲子早教系统,完成了...
发表于 09-14 11:06 606次 阅读

HarmonyOS教程—基于分布式能力和IDL跨进程通信,实现视频跨设备播放、控制

1. 介绍      此篇Codelab文档是基于实现一个简易播放器的高阶篇。在已实现视频播放功能的基础上,实现分布...
发表于 09-13 11:49 505次 阅读

HarmonyOS教程一基于分布式调度的能力,实现远程FA的启动

1. 介绍      开发者在应用中集成分布式调度能力,通过调用指定能力的分布式接口,实现跨设备能力调度。根据...
发表于 09-10 10:07 707次 阅读

HarmonyOS教程一分布式语音照相机

1. 项目介绍       生活中我们经常会遇到这样的例子:张三和李四外出旅游,他们俩需要相互拍照片,张三在远...
发表于 09-10 09:53 745次 阅读

HarmonyOS教程—基于跨设备迁移和分布式文件能力,实现邮件的跨设备编辑和附件的调用

1. 介绍       当前,在不同的设备上迁移一个任务的操作通常十分复杂,比如路上在手机里写了一半的邮件,回...
发表于 09-09 10:03 303次 阅读

HarmonyOS教程—分布式游戏手柄

1. 项目介绍      HarmonyOS的分布式能力可以方便地扩展虚拟终端,造就新的交互,体验新的场景。本篇cod...
发表于 09-08 14:13 270次 阅读

软总线是什么 剖析鸿蒙软总线超详细教程

软总线是什么?分布式软总线是手机、平板、智能穿戴、智慧屏、车机等分布式设备的通信基座,为设备之间的互....
的头像 华为麒麟 发表于 08-27 11:13 2454次 阅读
软总线是什么 剖析鸿蒙软总线超详细教程

基于HarmonyOS的分镜头App开发技术详解

《分镜头App》的创作灵感来源于殷冬的日常观察,他发现平常人们在自拍时,往往会用前置摄像头,由于像素....
的头像 HarmonyOS开发者 发表于 08-26 17:59 657次 阅读
基于HarmonyOS的分镜头App开发技术详解

Pegasus智能家居开发套件_2021

Pegasus智能家居开发套件指南
发表于 08-18 15:39 39次 阅读

Taurus AI Camera开发套件_2021

TaurusAICamera开发套件指南
发表于 08-18 13:32 18次 阅读

Neptune开发套件_2021

Neptune开发套件指南
发表于 08-18 13:32 11次 阅读

飞机线缆分布式检测线束测试仪方案综述

飞机线缆分布式检测线束测试仪方案综述
发表于 08-17 10:51 72次 阅读

鸿蒙软总线的简单使用

软总线是什么? 分布式软总线是手机、平板、智能穿戴、智慧屏、车机等分布式设备的通信基座,为....
的头像 HiHope社区 发表于 08-16 10:47 288次 阅读
鸿蒙软总线的简单使用

为什么需要分布式锁 基于Zookeeper锁安全吗

这篇文章我想和你聊一聊,关于 Redis 分布式锁的「安全性」问题。 Redis 分布式锁的话题,很....
的头像 上海磐启微电子有限公司 发表于 08-10 18:06 3099次 阅读

鸿蒙分布式怎么理解

HarmonyOS系统的使命和目标是将不同的设备串联,成为设备的“万能语言”,让一个系统连接起所有上....
的头像 汽车玩家 发表于 07-08 14:47 719次 阅读

鸿蒙系统底层架构 鸿蒙系统分布式架构

鸿蒙系统是一款面向未来、面向全场景的分布式操作系统,鸿蒙系统开创性地提出了基于同一套系统能力、适配多....
的头像 如意 发表于 07-08 14:35 1942次 阅读

鸿蒙系统有啥用 鸿蒙分布式系统的好处

鸿蒙系统2.0已正式上线,也有许多用户使用鸿蒙系统一段时间了,那么我们接下来盘点下鸿蒙系统有啥用,有....
的头像 如意 发表于 07-06 17:10 1383次 阅读

基于CAN总线的水下航行器分布式控制系统

基于CAN总线的水下航行器分布式控制系统
发表于 07-01 16:53 109次 阅读

基于多STM32和CAN总线的分布式电动护理床控制

基于多STM32和CAN总线的分布式电动护理床控制
发表于 06-30 15:15 115次 阅读

基于联盟链的建筑行业标准管理系统设计方案

基于联盟链的建筑行业标准管理系统设计方案
发表于 06-30 10:51 88次 阅读

智能电网的弹性调控平台任务调度研究

智能电网的弹性调控平台任务调度研究
发表于 06-27 16:21 98次 阅读

Google Brain和DeepMind联手发布可以分布式训练模型的框架

【导读】AI模型进入大数据时代,单机早已不能满足训练模型的要求,最近Google Brain和Dee....
的头像 中科院长春光机所 发表于 06-26 15:42 725次 阅读
Google Brain和DeepMind联手发布可以分布式训练模型的框架

揭秘Google和Facebook不用Docker的原因

写作本文的起因是我想让修改后的分布式 PyTorch 程序能更快的在 Facebook 的集群上启动....
的头像 Linux爱好者 发表于 06-26 15:37 525次 阅读

基于分布式传感的实时三维重建系统

基于分布式传感的实时三维重建系统
发表于 06-25 11:25 104次 阅读

OpenHarmony软总线设计理念

分布式软总线旨在为OpenHarmony系统提供跨进程或跨设备的通信能力,主要包含软总线和进程间通信....
的头像 独爱72H 发表于 06-24 10:56 523次 阅读

基于观测器的多智能体有限时间包含控制问题

基于观测器的多智能体有限时间包含控制问题
发表于 06-23 15:14 77次 阅读

基于Simulink的电子对抗分布式仿真系统

基于Simulink的电子对抗分布式仿真系统
发表于 06-22 15:47 107次 阅读

基于改进二进制粒子群算法的配电网故障检测

基于改进二进制粒子群算法的配电网故障检测
发表于 06-22 11:55 102次 阅读

openharmony开源方案的亮点是什么

OpenHarmony是自主研发、不兼容安卓的全领域下一代开源操做系统。
的头像 独爱72H 发表于 06-22 11:46 479次 阅读

基于分布式光纤测温的结冰风洞喷雾耙温度场

基于分布式光纤测温的结冰风洞喷雾耙温度场
发表于 06-22 10:44 97次 阅读

反挖矿的中国市场 让欧洲显卡跌破底价

近日,据调研机构3DCenter发布的最新数据显示,欧洲英伟达RTX显卡价格已经大幅回落,由五月份的....
的头像 Simon观察 发表于 06-22 10:30 2837次 阅读
反挖矿的中国市场 让欧洲显卡跌破底价

高效快速的分布式水军群检测算法

为在电子商务水军群组检测中快速处理真实环境中的大规模用户数据,提出一种分布式水军群组检测算法。设计基....
发表于 06-21 16:14 108次 阅读

异构环境下的多DAG任务调度算法综述

异构环境下的多DAG任务调度算法综述
发表于 06-21 15:15 71次 阅读

基于分布式仿真系统的实时通讯架构

基于分布式仿真系统的实时通讯架构
发表于 06-19 14:55 117次 阅读

基于机器学习的HBase数据库配置参数优化

Hbase是一个分布式数据库管理系统,对于需要快速随机访冋大量数据的应用程序,它正变得越来越流行。但....
发表于 06-17 15:08 69次 阅读

基于判断聚合模型的数据挖掘分类算法

随着互联网的发展和云计算技术的广泛应用,许多数据存储在不同的服务器上,分布式数据挖掘技术应运而生。智....
发表于 06-17 14:57 92次 阅读

面向云服务的分布式消息系统动态负载均衡策略

针对云服务下分布式消息系统存在的节点间负载倾斜问题,提岀基于副本角色的动态负载均衡策略,并将算法应用....
发表于 06-17 10:35 156次 阅读

基于KingSCADA的分布式运动控制监测系统

基于KingSCADA的分布式运动控制监测系统
发表于 06-16 10:49 123次 阅读

切换拓扑条件下的多无人机系统分布式控制器

针对切换拓扑条件下的多无人机系统编队包含控制问题,基于一致性算法设计了分布式控制器,通过变量代换将领....
发表于 06-15 14:48 89次 阅读

分布式存储系统的局部修复码分析

局部修复码应用于分布式存储系统中,其码字的任意位发生错误都可通过读取该码字其他若干位予以修复。根据该....
发表于 06-11 16:33 97次 阅读

一种分布式认知无线电网络资源分配算法

为在不完美频谱检测环境下对资源进行优化分配,提出一种分布式认知无线电网络资源分配算法。根据叶斯理论给....
发表于 06-11 11:25 101次 阅读

基于簇的分布式IPv6地址配置方案

为实现无线传感器网络(WSN)与IPv6互联网的全P通信,提出一种全 IP WSN地址配置方案。将W....
发表于 06-11 11:21 122次 阅读

模型驱动的分布式卫星终端用户行为仿真

针对天地一体化网络中用户数量多、并发通信高和时变性的特点,基于多尺度虚拟化技术,提出一种模型驱动的分....
发表于 06-11 11:09 79次 阅读

鸿蒙系统有什么特别之处?

6月2号话华为发布会正式发布鸿蒙操作系统,华为官方对鸿蒙操作系统做了很全面的介绍,小编这里就对此次发....
的头像 Les 发表于 06-07 09:55 45476次 阅读

多小区分布式阵列系统的AP协作方法研究

在多小区分布式阵列系统中,用户与接入节点(AP)间的距离对频谱效率具有重要影响,边缘用户可以通过不同....
发表于 06-04 14:08 91次 阅读

二阶多智体系统的自适应参数一致性算法

目前二阶多智能体系统尚未明确给出自适应参数的确定方法,且系统的收敛速度较慢。为在实际应用中预测飞行器....
发表于 06-04 11:53 102次 阅读

分布式存储系统中的纠删码容错方法综述

HRC码是一种具有存储效率高、计算复杂度低等优点的纠删码,但其存在编解码计算开销大、实现较为复杂等不....
发表于 06-04 11:27 92次 阅读

鸿蒙系统有什么特别之处 鸿蒙系统的特点是什么

根据王成录介绍,华为鸿蒙OS诞生的目标就是希望用一套系统来解决所有的IoT硬件设备的问题。
的头像 独爱72H 发表于 06-03 11:52 7850次 阅读

华为HarmonyOS系统流转带来的魔法

华为鸿蒙系统桌面HarmonyOS采用分布式编程框架和原子化服务卡牌。
的头像 如意 发表于 06-02 20:35 1067次 阅读

Spark分布式平台的ALS加速算法设计方案

协同过滤推荐算法在推荐系统中发挥着重要作用,但其存在执行效率与排名精度较低的问题,交替最小乘(ALS....
发表于 06-02 14:43 84次 阅读