0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

杉岩数据主要解决了机器学习对于高吞吐和低时延的需求问题

lhl545545 来源:DOIT 作者:朱 朋博 2020-09-10 14:03 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2EB最大单一存储集群

普通个人电脑硬盘一般为500GB,1TB大约等于两块电脑盘,1 PB大约等于2000块电脑硬盘,1EB大约相当于两百万块个人电脑的硬盘,1EB数据量假设用的10TB磁盘的话也需要10万块,如此规模的硬盘摞在一起相比也是非常壮观,更何况要在企业数据中心交付的话,需要非常多的硬件设备。

在杉岩数据的品牌战略暨新品发布会上,CEO陈坚介绍说,杉岩数据最大单一存储集群规模达到了2EB。按照上述粗犷的估算方法,大概需要20万块硬盘,一块3.5寸的盘大约600g,20万块大概是12吨,普通轿车的重量大约在1.5到2吨,算下来就是6到8辆轿车的重量,够形象了吧。

杉岩数据CEO

韩信点兵,多多益善,大规模军队作战难点在于如何高效地组织起有效的进攻和防守,对将领的要求非常高。而杉岩数据组织20万块硬盘的操作同样考虑组织能力,杉岩靠的是软件层次上的创新,将成千上万个硬盘组织起来构成一个集群,在技术上也是非常大的挑战。

2EB最大单一存储集群的出现,是用户用行动证明了对于杉岩数据这样一家存储公司的认可。如此大规模的部署案例,这家分布式存储公司再也不能低调了。

杉岩数据是谁?

杉岩数据是一家来自深圳的软件定义存储厂商,杉岩数据的名字音译自SandStone(砂岩),砂岩是一种沉积岩,主要组成是地壳最常见的成分,而杉岩数据做的软件定义存储依靠的是最常见的通用服务器,在此基础上加入软件存储系统。

IDC给出的市场数据来看,杉岩数据在中国对象存储市场份额排在第二位,在块存储市场也排在第五位,整体软件定义存储市场份额能达到第六位,是一家主流的软件定义存储厂商,在市场上扮演重要角色。

企业级存储市场通常需要慢工出细活儿。杉岩数据成立于2014年,仅仅六年后的2020年就有如此成绩还是非常令人羡慕的,不久前,杉岩数据还宣布获得了1.5亿人民币的B+轮融资,收获市场和资本双重认可,在品牌战略暨新品发布会上,还有有包括华为和阿里云等技术合作伙伴,以及许多行业用户站台。

杉岩数据的崛起之路

2014年,在深圳一个不到三十平的民房里,有几位码农在电脑前忙碌着,一位中年男子,一会儿负责做饭,一会儿负责扫地,灯泡坏了估计还是他负责换,这位中年男子就是陈坚,而这,就是杉岩数据创始成员最早的办公地点,团队成员除了陈坚以外,另外几位小伙伴全都负责写代码。

杉岩数据的初始创始成员包括陈坚在内,主要都来自华为的企业存储业务部门,原本做的业务就与分布式存储相关,对普通人来说从华为出走其实需要不少勇气,华为待遇其实非常好,2014年的华为存储也正处于快速成长期,眼看着业务蒸蒸日上其实想走更难,创业很累不说,还要很多不确定性,除非是对要做的事情非常有把握。

2014年,开源云的浪潮袭来,以OpenStack为代表的开源云方案收获大量拥趸,中国技术才赶上了这波浪潮,与全世界开源爱好者一道做起了开源云,软件开发者越发意识到了软件所能创造的价值,有人说软件能定义一切,对于做基础技术的人而言,软件定义存储也从概念一步步变为现实。

Ceph作为OpenStack推荐的存储方案,也很快变得家喻户晓,使用OpenStack和Ceph的企业用户也非常多,以电信运营商为主的大型企业客户在大规模使用OpenStack方案。同时,国内出现了许多基于Ceph的开源存储解决方案供应商,杉岩数据就是其中的典型代表。

基于Ceph开源项目做企业级存储方案并不容易,Ceph只是技术方案,而企业对于存储方案的稳定性和可靠性要求非常高,将技术转变为经过验证的产品方案需要经过长期的打磨过程,各种辛苦只有杉岩自己最懂。

2020年8月18日,杉岩数据六周年前夕召开的这次品牌战略暨新品发布会,是杉岩数据第一次正式的发布会,标志着杉岩数据正式走上台前,结束了低调期。

CEO陈坚将过去六年分为两个阶段,2014年到2017年期间是产品打磨期,打磨产品的可靠性、稳定性、可用性和可维护性,先是2015年发布了杉岩统一存储平台USP,随后2016年发布海量对象存储MOS,应对海量非结构化数据存储的场景。这一阶段积累了第一批行业头部客户,比如中国移动、深圳供电局、广发证券等。

第二阶段,产品趋于成熟的同时开始大规模推向市场,很快,市场取得了突飞猛进的成果,在金融、电力、能源、医疗、教育等等十多个行业和20多个应用场景收获500+客户,上线的总容量超过了3000PB,单一集群数据规模2EB达到中国最大。

此外,杉岩还是中国云计算标准单位成员之一,中国去年发布的云存储的国标中杉岩是参与标准制定的单位,行业影响力提升。

从2014年到2020年,杉岩数据在6年内总共完成了4轮融资,包括天玑数据、顺为资本、广发乾和、深圳担保集团、中远海运、襄禾资本以及无锡金投都是杉岩数据的投资方,有行业和政府方面的资金,资金方全都是以人民币的方式注资。

陈坚强调,杉岩数据是一家技术驱动型公司,200名员工中有60%都是研发人员,但企业级存储产品的研发要靠技术更要靠经 验,杉岩数据的核心研发人员,平均在存储领域研发经验在7年以上,杉岩数据有一支强大的研发队伍,为杉岩数据贡献了40多项发明和专利。

如今的杉岩数据俨然已是一家独立的存储新势力。

杉岩数据的发展要点与技术创新

作为存储行业的老兵,陈坚将存储发展总结为三个阶段,第一阶段的重点是存好数据,第二阶段是管理好各种数据,当下所处的第三阶段是用好数据,这个时代的特征是智能。陈坚认为,真正的智能存储应该具有数据感知和应用感知的能力,存储系统能够帮助上层应用做数据的处理和智能的调度,帮助应用做加速和优化。

智能是杉岩数据未来的一大发展方向,发布会现场,杉岩数据发布了新一代杉岩融合智能大数据存储解决方案,另外一个重点是国产自主可控,为此,杉岩发布了华岩安全存储一体化解决方案。

杉岩数据的对象存储是传统强项,杉岩数据CTO邱尚高介绍了对象存储的最新消息。新的对象存储V6版本在存的能力上有突破,文件规模理论上可以达到1000亿,单桶文件数支持30亿个。通常情况下,文件数的增多将影响到性能表现,但杉岩数据的整体系统性能表现非常平稳,性能仅下降10%。

与阿里云深度合作构建强化版混合云。以前许多混合云都只是能将本地存储的数据归档到公有云上,而杉岩数据与阿里云构建的混合云能进行双向数据同步,不仅如此,业务还能同时在公有云和私有云上运行,还可以进行业务的平滑迁移。

强化异构纳管能力。在异构方面,V6版本能够纳管如开源的对象存储、金融行业应用较多的Documentum、FileNet、 FastDFS等第三方的对象存储,帮助客户缩短数据迁移时间,保护用户现有投资。

智能处理引擎功能。在杉岩对象存储里面,可以用插件对各种处理组件(OCR识别,或者全文识别,或者人脸识别、车辆识别、机器学习领域等等)进行结合,将非结构化数据转化为结构化数据,提升数据的价值和使用效率,为AI、机器学习等领域的业务赋能。

MosFS主要解决了机器学习对于高吞吐和低时延的需求问题,在上层利用内存以及SSD等技术来加速数据访问。同时,结合业务感知能力,为数据做一层高速缓存来保障机器学习的性能。MosFS还可以把计算存储的本地存盘组成一个分布式的缓存层,加快训练速度。

面向大数据,杉岩对象存储通过替换传统HDFS存储来降低成本并提高性能,做法是提供兼容HDFS的接口,把HDFS的数据归集到统一的存储上,帮助客户实现非结构化数据跟半结构化数据或者结构化数据的完全统一。

华岩国产化一体机是一款统一存储产品,这款产品是基于统一存储产品软件构建的产品,底层采用国产处理器和国产服务器,对外提供标准的块存储以及标准的文件接口和对象接口,满足复合型的业务要求。目前该产品底层处理器支持华为鲲鹏,飞腾,海光,操作系统采用基于信创的麒麟和统信操作系统。

结语

2020年8月的这次品牌战略暨新品发布会是杉岩数据第一次正式发布会,高调介绍2EB最大单一存储集群的项目,高调进行产品发布,这意味着韬光养晦的日子正式告一段落了。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7314

    浏览量

    93956
  • 人脸识别
    +关注

    关注

    77

    文章

    4117

    浏览量

    87744
  • 阿里云
    +关注

    关注

    3

    文章

    1028

    浏览量

    45488
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    万元人形机器人破局者:松动力靠的是什么?

    电子发烧友网综合报道 前不久,松动力在一场线上媒体沟通会上正式发布全球首款定价万元以内的高性能人形机器人“小布米Bumi”,限时预售价格为9998元。这一跌破万元的定价,不仅刷新公众对人形
    的头像 发表于 11-09 04:08 5429次阅读

    使用罗德与施瓦茨CMX500的吞吐量应用层测试方案

    5G NR(New Radio)吞吐量应用层测试是评估5G网络性能的一个重要方面,它主要关注的是在实际应用条件下,用户能够体验到的数据传输速率。这种测试通常包括对下行链路和上行链路的
    的头像 发表于 09-02 13:56 7602次阅读
    使用罗德与施瓦茨CMX500的<b class='flag-5'>吞吐</b>量应用层测试方案

    FPGA在机器学习中的具体应用

    随着机器学习和人工智能技术的迅猛发展,传统的中央处理单元(CPU)和图形处理单元(GPU)已经无法满足高效处理大规模数据和复杂模型的需求。FPGA(现场可编程门阵列)作为一种灵活且高效
    的头像 发表于 07-16 15:34 2629次阅读

    FX3进行读或写操作时CS信号拉,在读或写完成后CS置,对吞吐量有没有影响?

    从尽可能提高吞吐量的角度看,在进行读或写操作时CS信号拉,在读或写完成后CS置,对吞吐量有没有影响,还是应该CS一直拉比较好。
    发表于 05-08 07:13

    国产地物光谱仪在“光谱-机器学习”模型构建中的表现

    在遥感应用和环境监测日益精细化的今天,“光谱 + 机器学习”的组合已成为地物识别、矿产探测、农业监测等领域的重要技术手段。而作为获取光谱数据
    的头像 发表于 04-18 16:15 551次阅读
    国产地物光谱仪在“<b class='flag-5'>高</b>光谱-<b class='flag-5'>机器</b><b class='flag-5'>学习</b>”模型构建中的表现

    工业级MIFI全栈式解决方案:快速构建可靠、Wi-Fi网络

    Air8000核心板为例,在工业物联网场景中快速构建可靠、的Wi-Fi网络,供终端IoT设备接入。 最新开发资料详见: www.air8000.cn 一、了解两种工作模式    在实际使用中
    的头像 发表于 04-17 13:46 549次阅读
    工业级MIFI全栈式解决方案:快速构建<b class='flag-5'>高</b>可靠、<b class='flag-5'>低</b>时<b class='flag-5'>延</b>Wi-Fi网络

    工业无线通信新标杆:MIFI技术驱动的可靠Wi-Fi网络快速搭建方案!

    情况下仍保持毫秒级时与99.99%可用性。本期特别分享Wi-Fi联网AP应用示例(Air8000作为热点):   以Air8000核心板为例,在工业物联网场景中快速构建可靠、
    的头像 发表于 04-17 13:46 599次阅读
    工业无线通信新标杆:MIFI技术驱动的<b class='flag-5'>低</b>时<b class='flag-5'>延</b><b class='flag-5'>高</b>可靠Wi-Fi网络快速搭建方案!

    **【技术干货】Nordic nRF54系列芯片:传感器数据采集与AI机器学习的完美结合**

    和更多外设接口。无论是运行还是休眠状态,功耗表现都非常出色! 3. 在传感器数据采集与AI机器学习中的优势? 答:主频、功耗,内置专用核
    发表于 04-01 00:00

    树莓派5 + Hailo AI加速器:工业级数值数据处理实战,打通SQLite与机器学习全链路

    本文讨论在工业自动化背景下,开发者利用树莓派5和HailoAI加速器进行工业级数值数据处理实战,打通SQLite与机器学习全链路时遇到的问题及解决方案。关键要点包括:1.开发者
    的头像 发表于 03-25 09:22 992次阅读
    树莓派5 + Hailo AI加速器:工业级数值<b class='flag-5'>数据</b>处理实战,打通SQLite与<b class='flag-5'>机器</b><b class='flag-5'>学习</b>全链路

    忆联PCle 5.0 SSD助力数据中心TCO优化

    随着DeepSeek等大模型规模化部署,数据中心承载越来越庞大的数据规模及计算任务,需要强大的基础设施来支持数据传输和通信,对底层存储系统也提出了更大挑战:存储设备不仅要满足海量
    的头像 发表于 03-04 16:47 1029次阅读
    忆联PCle 5.0 SSD助力<b class='flag-5'>数据</b>中心TCO优化

    川谐波”获超3亿A轮融资

    和无锡创投集团等多家机构的跟投。 这笔资金将主要用于“川谐波”进一步扩大产能,提升自动化生产水平,以满足日益增长的客户需求。此外,公司还将围绕谐波减速器的底层技术架构进行持续精进,不断提升产品的核心竞争力。 此前
    的头像 发表于 01-06 10:49 763次阅读

    传统机器学习方法和应用指导

    在上一篇文章中,我们介绍机器学习的关键概念术语。在本文中,我们会介绍传统机器学习的基础知识和多种算法特征,供各位老师选择。 01 传统
    的头像 发表于 12-30 09:16 1968次阅读
    传统<b class='flag-5'>机器</b><b class='flag-5'>学习</b>方法和应用指导

    AI兴起推动HBM需求激增,DRAM市场面临重塑

    TechInsights的最新报告揭示AI兴起对带宽内存(HBM)需求的巨大影响。特别是在机器学习和深度
    的头像 发表于 12-26 15:07 916次阅读

    【「具身智能机器人系统」阅读体验】+数据在具身人工智能中的价值

    数据对于训练增强和优化机器人能力的深度学习模型至关重要。 从财务上讲,用户数据对互联网公司具有重要价值,估计每个用户 600 美元,考虑到
    发表于 12-24 00:33

    HarmonyOS应用点击完成时问题定位流程及原理

    和页面间跳转两种。完成时反映用户对响应速度的整体感受,主要影响用户对触控交互及时性和愉悦性的体验评价。 性能分析指导 在一定时水平以上,完成时
    的头像 发表于 12-23 11:15 1272次阅读
    HarmonyOS应用点击完成时<b class='flag-5'>延</b>问题定位流程及原理