0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

杉岩数据主要解决了机器学习对于高吞吐和低时延的需求问题

lhl545545 来源:DOIT 作者:朱 朋博 2020-09-10 14:03 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2EB最大单一存储集群

普通个人电脑硬盘一般为500GB,1TB大约等于两块电脑盘,1 PB大约等于2000块电脑硬盘,1EB大约相当于两百万块个人电脑的硬盘,1EB数据量假设用的10TB磁盘的话也需要10万块,如此规模的硬盘摞在一起相比也是非常壮观,更何况要在企业数据中心交付的话,需要非常多的硬件设备。

在杉岩数据的品牌战略暨新品发布会上,CEO陈坚介绍说,杉岩数据最大单一存储集群规模达到了2EB。按照上述粗犷的估算方法,大概需要20万块硬盘,一块3.5寸的盘大约600g,20万块大概是12吨,普通轿车的重量大约在1.5到2吨,算下来就是6到8辆轿车的重量,够形象了吧。

杉岩数据CEO

韩信点兵,多多益善,大规模军队作战难点在于如何高效地组织起有效的进攻和防守,对将领的要求非常高。而杉岩数据组织20万块硬盘的操作同样考虑组织能力,杉岩靠的是软件层次上的创新,将成千上万个硬盘组织起来构成一个集群,在技术上也是非常大的挑战。

2EB最大单一存储集群的出现,是用户用行动证明了对于杉岩数据这样一家存储公司的认可。如此大规模的部署案例,这家分布式存储公司再也不能低调了。

杉岩数据是谁?

杉岩数据是一家来自深圳的软件定义存储厂商,杉岩数据的名字音译自SandStone(砂岩),砂岩是一种沉积岩,主要组成是地壳最常见的成分,而杉岩数据做的软件定义存储依靠的是最常见的通用服务器,在此基础上加入软件存储系统。

IDC给出的市场数据来看,杉岩数据在中国对象存储市场份额排在第二位,在块存储市场也排在第五位,整体软件定义存储市场份额能达到第六位,是一家主流的软件定义存储厂商,在市场上扮演重要角色。

企业级存储市场通常需要慢工出细活儿。杉岩数据成立于2014年,仅仅六年后的2020年就有如此成绩还是非常令人羡慕的,不久前,杉岩数据还宣布获得了1.5亿人民币的B+轮融资,收获市场和资本双重认可,在品牌战略暨新品发布会上,还有有包括华为和阿里云等技术合作伙伴,以及许多行业用户站台。

杉岩数据的崛起之路

2014年,在深圳一个不到三十平的民房里,有几位码农在电脑前忙碌着,一位中年男子,一会儿负责做饭,一会儿负责扫地,灯泡坏了估计还是他负责换,这位中年男子就是陈坚,而这,就是杉岩数据创始成员最早的办公地点,团队成员除了陈坚以外,另外几位小伙伴全都负责写代码。

杉岩数据的初始创始成员包括陈坚在内,主要都来自华为的企业存储业务部门,原本做的业务就与分布式存储相关,对普通人来说从华为出走其实需要不少勇气,华为待遇其实非常好,2014年的华为存储也正处于快速成长期,眼看着业务蒸蒸日上其实想走更难,创业很累不说,还要很多不确定性,除非是对要做的事情非常有把握。

2014年,开源云的浪潮袭来,以OpenStack为代表的开源云方案收获大量拥趸,中国技术才赶上了这波浪潮,与全世界开源爱好者一道做起了开源云,软件开发者越发意识到了软件所能创造的价值,有人说软件能定义一切,对于做基础技术的人而言,软件定义存储也从概念一步步变为现实。

Ceph作为OpenStack推荐的存储方案,也很快变得家喻户晓,使用OpenStack和Ceph的企业用户也非常多,以电信运营商为主的大型企业客户在大规模使用OpenStack方案。同时,国内出现了许多基于Ceph的开源存储解决方案供应商,杉岩数据就是其中的典型代表。

基于Ceph开源项目做企业级存储方案并不容易,Ceph只是技术方案,而企业对于存储方案的稳定性和可靠性要求非常高,将技术转变为经过验证的产品方案需要经过长期的打磨过程,各种辛苦只有杉岩自己最懂。

2020年8月18日,杉岩数据六周年前夕召开的这次品牌战略暨新品发布会,是杉岩数据第一次正式的发布会,标志着杉岩数据正式走上台前,结束了低调期。

CEO陈坚将过去六年分为两个阶段,2014年到2017年期间是产品打磨期,打磨产品的可靠性、稳定性、可用性和可维护性,先是2015年发布了杉岩统一存储平台USP,随后2016年发布海量对象存储MOS,应对海量非结构化数据存储的场景。这一阶段积累了第一批行业头部客户,比如中国移动、深圳供电局、广发证券等。

第二阶段,产品趋于成熟的同时开始大规模推向市场,很快,市场取得了突飞猛进的成果,在金融、电力、能源、医疗、教育等等十多个行业和20多个应用场景收获500+客户,上线的总容量超过了3000PB,单一集群数据规模2EB达到中国最大。

此外,杉岩还是中国云计算标准单位成员之一,中国去年发布的云存储的国标中杉岩是参与标准制定的单位,行业影响力提升。

从2014年到2020年,杉岩数据在6年内总共完成了4轮融资,包括天玑数据、顺为资本、广发乾和、深圳担保集团、中远海运、襄禾资本以及无锡金投都是杉岩数据的投资方,有行业和政府方面的资金,资金方全都是以人民币的方式注资。

陈坚强调,杉岩数据是一家技术驱动型公司,200名员工中有60%都是研发人员,但企业级存储产品的研发要靠技术更要靠经 验,杉岩数据的核心研发人员,平均在存储领域研发经验在7年以上,杉岩数据有一支强大的研发队伍,为杉岩数据贡献了40多项发明和专利。

如今的杉岩数据俨然已是一家独立的存储新势力。

杉岩数据的发展要点与技术创新

作为存储行业的老兵,陈坚将存储发展总结为三个阶段,第一阶段的重点是存好数据,第二阶段是管理好各种数据,当下所处的第三阶段是用好数据,这个时代的特征是智能。陈坚认为,真正的智能存储应该具有数据感知和应用感知的能力,存储系统能够帮助上层应用做数据的处理和智能的调度,帮助应用做加速和优化。

智能是杉岩数据未来的一大发展方向,发布会现场,杉岩数据发布了新一代杉岩融合智能大数据存储解决方案,另外一个重点是国产自主可控,为此,杉岩发布了华岩安全存储一体化解决方案。

杉岩数据的对象存储是传统强项,杉岩数据CTO邱尚高介绍了对象存储的最新消息。新的对象存储V6版本在存的能力上有突破,文件规模理论上可以达到1000亿,单桶文件数支持30亿个。通常情况下,文件数的增多将影响到性能表现,但杉岩数据的整体系统性能表现非常平稳,性能仅下降10%。

与阿里云深度合作构建强化版混合云。以前许多混合云都只是能将本地存储的数据归档到公有云上,而杉岩数据与阿里云构建的混合云能进行双向数据同步,不仅如此,业务还能同时在公有云和私有云上运行,还可以进行业务的平滑迁移。

强化异构纳管能力。在异构方面,V6版本能够纳管如开源的对象存储、金融行业应用较多的Documentum、FileNet、 FastDFS等第三方的对象存储,帮助客户缩短数据迁移时间,保护用户现有投资。

智能处理引擎功能。在杉岩对象存储里面,可以用插件对各种处理组件(OCR识别,或者全文识别,或者人脸识别、车辆识别、机器学习领域等等)进行结合,将非结构化数据转化为结构化数据,提升数据的价值和使用效率,为AI、机器学习等领域的业务赋能。

MosFS主要解决了机器学习对于高吞吐和低时延的需求问题,在上层利用内存以及SSD等技术来加速数据访问。同时,结合业务感知能力,为数据做一层高速缓存来保障机器学习的性能。MosFS还可以把计算存储的本地存盘组成一个分布式的缓存层,加快训练速度。

面向大数据,杉岩对象存储通过替换传统HDFS存储来降低成本并提高性能,做法是提供兼容HDFS的接口,把HDFS的数据归集到统一的存储上,帮助客户实现非结构化数据跟半结构化数据或者结构化数据的完全统一。

华岩国产化一体机是一款统一存储产品,这款产品是基于统一存储产品软件构建的产品,底层采用国产处理器和国产服务器,对外提供标准的块存储以及标准的文件接口和对象接口,满足复合型的业务要求。目前该产品底层处理器支持华为鲲鹏,飞腾,海光,操作系统采用基于信创的麒麟和统信操作系统。

结语

2020年8月的这次品牌战略暨新品发布会是杉岩数据第一次正式发布会,高调介绍2EB最大单一存储集群的项目,高调进行产品发布,这意味着韬光养晦的日子正式告一段落了。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7366

    浏览量

    95214
  • 人脸识别
    +关注

    关注

    77

    文章

    4137

    浏览量

    88970
  • 阿里云
    +关注

    关注

    3

    文章

    1053

    浏览量

    45970
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Ceva赢得下一代蓝牙数据吞吐量项目

    领先的智能边缘芯片和软件IP授权商Ceva公司近日宣布,其蓝牙®数据吞吐量(HDT)解决方案成功赢得一家重要客户的订单。该解决方案搭载Ceva自主研发的射频(RF)技术,这也是Ce
    的头像 发表于 05-28 09:09 711次阅读

    广和通托LTE通信方案为松动力人形机器人提供蜂窝连接能力

    近日,广和通携手松动力,依托LTE通信方案为「松小布米Lite」提供稳定的蜂窝连接能力,助力春晚同款人形机器人走进家庭陪伴、青少年科创教育等场景。
    的头像 发表于 05-25 09:07 406次阅读

    RDMA设计65:如何根据包吞吐量性能权衡设计?

    吞吐量是评估零散数据传输性能的核心指标,包吞吐量越高,表明系统面临大量零散传输请求时拥有更强的数据传输能力和更高的包处理能力。因此这里在不同的队列数量配置下使用包
    发表于 05-12 10:36

    RDMA设计64:数据吞吐量性能测试分析

    满足项目设计需求,实现设计目标。此外的,麦洛斯 CX455-A 网卡工作在 Ethernet 物理层模式下时,存在一定程度上的理论速率降低现象,理论极限速率约为 98.5Gbps。故本设计实现的 RoCE v2高速传输系统数据
    发表于 05-09 07:54

    锋国际与银河通用机器人签署战略合作协议

    4月13日,锋国际与银河通用机器人在北京正式签署战略合作协议。双方将以智能制造与具身智能的深度融合为核心方向,聚焦工业场景规模化落地需求展开全方位协同。
    的头像 发表于 04-16 15:43 381次阅读

    爱立信与软银联合打造可靠的通信网络

    软银与爱立信近日宣布双方已成功开展一项概念验证,旨在打造可靠的通信网络,以满足物理人工智能*1需求
    的头像 发表于 04-11 14:22 1235次阅读

    再谈低温烧结银的应用:从春晚四家机器人出镜的幕后推手说起

    未来》和《立上游》:**MagicBot Z1/Gen1+MagicDog 四足,集群伴舞、多机协同,主打快速响应+延迟+集成。 **松动力:《奶奶的最爱》:**E1/N2/Bumi+仿生
    发表于 02-17 14:07

    龙芯中科与宏科技完成产品适配互认证

    近日,龙芯中科技术股份有限公司与杭州宏科技股份有限公司完成基于龙芯3C6000处理器平台对宏分布式存储系统的适配与性能验证。测试结果表明,宏分布式存储产品在龙芯3C6000平台上运行稳定、性能优异,标志着双方在国产自主计算
    的头像 发表于 01-23 17:08 1031次阅读
    龙芯中科与宏<b class='flag-5'>杉</b>科技完成产品适配互认证

    瑞盟新品推荐MS51224 /16位、双通道、延时、同步采样SAR ADC

    MS51224是一款16位、双通道、延时、同步采样模数转换器(SAR ADC),具有集成的内部参考和参考电压缓冲器。荣获“ASPENCORE 2025年度放大器/数据转换器产品”奖. 主要
    发表于 01-23 14:09

    用“分区”来面对超大数据集和超大吞吐

    分区(partitions) 也被称为 分片(sharding),通常采用对数据进行分区的方式来增加系统的 可伸缩性,以此来面对非常大的数据集或非常吞吐量,避免出现热点。
    的头像 发表于 12-30 16:40 341次阅读
    用“分区”来面对超大<b class='flag-5'>数据</b>集和超大<b class='flag-5'>吞吐</b>量

    WiFi7速率怎么算?一个公式看懂 46Gbps 从何而来

    、机场、铁站、体育馆等场景上网密度、并发量大,WiFi 7通过灵活的频谱调度与干扰抑制,改善多用户并发与空口效率,降低网络波动,确保在高密度环境下的稳定连接和
    发表于 12-09 11:42

    万元人形机器人破局者:松动力靠的是什么?

    电子发烧友网综合报道 前不久,松动力在一场线上媒体沟通会上正式发布全球首款定价万元以内的高性能人形机器人“小布米Bumi”,限时预售价格为9998元。这一跌破万元的定价,不仅刷新公众对人形
    的头像 发表于 11-09 04:08 6245次阅读

    如何加速实时工作负载

    对于需要实时响应的数据中心工作负载,性能不仅是指原始吞吐量或处理能力。挑战在于:在保持吞吐量和能效的同时,实现确定性时
    的头像 发表于 09-10 15:36 871次阅读

    使用罗德与施瓦茨CMX500的吞吐量应用层测试方案

    5G NR(New Radio)吞吐量应用层测试是评估5G网络性能的一个重要方面,它主要关注的是在实际应用条件下,用户能够体验到的数据传输速率。这种测试通常包括对下行链路和上行链路的
    的头像 发表于 09-02 13:56 8286次阅读
    使用罗德与施瓦茨CMX500的<b class='flag-5'>吞吐</b>量应用层测试方案

    FPGA在机器学习中的具体应用

    随着机器学习和人工智能技术的迅猛发展,传统的中央处理单元(CPU)和图形处理单元(GPU)已经无法满足高效处理大规模数据和复杂模型的需求。FPGA(现场可编程门阵列)作为一种灵活且高效
    的头像 发表于 07-16 15:34 3212次阅读