0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

随着数据的大规模扩展,寻找有效的传输方式

douyin8 来源:douyin8 作者:douyin8 2022-07-21 10:20 次阅读

用于分析、机器学习和其他类型分析的数据正在以越来越快的速度获取。但是 Tbytes(甚至 Zbytes)的数据需要一个有用的传输系统,虽然我们已经从通过单个管道移动数据过渡到基于云的服务,但我们在实践中面临着扩展的需求。物联网设备正变得越来越普遍,我们需要考虑如何在突然面临需求之前传输指数级的数据量。

实时大数据分析等应用程序需要对所有数据进行高带宽访问。由于带宽和容量,标准硬件解决方案可能被证明是不够的。因此,为了解决成本(尤其是在扩大规模时)、带宽、容量和长期可靠性,目前有两种有效的选择。第一个是高速互联网上的云计算,第二个是具有高速光纤连接的本地化便携式存储阵列。

云解决方案

云解决方案的优势包括将成本和增长的麻烦转移到云提供商身上。本地机器可以卸载到通常可靠的云系统。具有冗余和历史备份的企业级存储阵列通常可从许多云提供商处获得,这些云提供商通过部署多个分散数据中心网络提供额外的可靠性和性能。随着全球数据中心生态系统不断壮大,维护着海量虚拟云,云解决方案提供了一种日益强大和便捷的方式来存储和传输由物联网、自动驾驶汽车和其他互联智能设备等新技术和应用程序生成的大量数据。

但是,虽然标准 Internet 连接提供了方便的访问,但它也限制了 Internet 连接速度的带宽。在放弃维护系统的麻烦的同时,您也放弃了对云机器性能的控制,仅限于提供的内容。

本地化便携式解决方案

借助本地化的便携式解决方案,可以定制性能以满足应用需求,提供极大的灵活性。计算负载仍然可以卸载,这次从客户端机器转移到服务器上,您可以设置安全协议,以便只有本地客户端可以访问系统。本地化系统的主要优点是使用高速光纤网络适配器的连接速度要高得多。以太网上的 10Gb/s 连接已经开始打入消费级市场,并且通过商业级 SFP 连接和光纤互连可以获得更高的速度。与互联网上 96Mbps/32Mbps 的全国平均水平相比,这提供了明显更快的速度。预计物联网将产生 Zettabytes随着利用这些海量数据集的机器学习等新技术的增长和发展,这种速度可能不足以满足某些应用程序的需求。除了增加的总带宽外,本地化解决方案还提供更低的延迟,并且可以使需要低响应时间的应用程序受益,例如高分辨率镜头的视频编辑和合成/渲染好莱坞级特效序列。为了提高速度和响应能力,本地化存储系统可以使用固态存储驱动器作为高速数据缓冲区进行定制,或用于替代传统硬盘驱动器存储介质作为主要存储单元。

借助本地化单元,整个存储系统的传输和部署可以像使用 CP Technologies 的便携式存储阵列一样简单地将其运送到所需位置并连接起来. 这些类型的存储设备为将数百 TB 的数据迁移到云提供商提供了一种方便有效的方法。数据可以使用高速光纤连接在最短的时间内传输并存储在系统上,然后手动携带或运送到云提供商的数据中心。使用此类本地化解决方案,与通过 Internet 发送所有数据相比,您可以通过在新位置重新部署来显着更快地传输 TB 数据。而且,如果您需要 Internet 可访问性,可以将本地化解决方案配置为可访问 Internet。此外,通过使用独立的便携式存储单元,您还可以在从站点到站点传输数据时保持高度的数据安全性,

本地化存储的主要缺点是它不如分散式云存储强大。如果发生洪水或其他天灾,而您没有额外的场外机器,那么您可能会失去一切。容量和增长将受到本地机器的大小和数量的限制。虽然本地化解决方案往往具有很高的成本效益,但在扩展现有存储解决方案时需要考虑额外的空间、电力和冷却成本。

无论哪种解决方案最适合您,都需要考虑创建数据冗余。分散式云可以通过将数据分散到多个数据中心来减轻灾难的影响。本地系统应与随附的异地存储解决方案一起使用,以确保数据系统的安全性与其地理位置分离。在将机器从站点转移到站点时,采用 CP Tech 制造的坚固设计可确保数据在传输过程中保持安全。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6514

    浏览量

    87614
  • 物联网
    +关注

    关注

    2870

    文章

    41662

    浏览量

    358434
收藏 人收藏

    评论

    相关推荐

    【书籍评测活动NO.30】大规模语言模型:从理论到实践

    大模型实践和理论研究的过程中,历时8个月完成 《大规模语言模型:从理论到实践》 一书的撰写。希望这本书能够帮助读者快速入门大模型的研究和应用,并解决相关技术问题。 本书一经上市,便摘得京东新书日榜销售
    发表于 03-11 15:16

    大规模数据中心网络演进的七大主流趋势

    自动驾驶已经变成可能,大规模应用只是一个时间问题。大规模网络运维的自动化也必然是业界的趋势,要达到自动驾驶或自动化运维都需要两个共同的条件:一是有足够有效数据,二是要有对
    发表于 03-11 11:21 158次阅读

    万兆电口模块:满足大规模数据传输需求的解决方案

    万兆电口模块具有高速传输、兼容性好、可靠性高等优势,可以满足大规模数据传输需求,推动网络技术发展。
    的头像 发表于 02-26 16:27 172次阅读

    万兆电口模块10GBase-T:满足大规模数据传输需求的解决方案

    万兆电口模块10GBase-T应用在数据中心、云计算、视频会议、高性能计算和人工智能等领域中,万兆电口模块的应用将进一步推动大规模数据传输技术的发展和创新。随着技术的不断进步和应用需求的不断增长,万兆电口模块有望在未来发挥更加重
    的头像 发表于 01-29 11:46 259次阅读

    为什么有些信号采用差分传输方式,不采用单端传输方式

    为什么有些信号采用差分传输方式,不采用单端传输方式? 差分传输方式是一种常用的信号
    的头像 发表于 01-17 11:32 190次阅读

    数据传输方式有哪几种 哪种数据传输是双向的

    串行传输是一种按位逐个传输数据传输方式数据以比特位序列的形式
    的头像 发表于 01-10 15:40 2120次阅读

    大规模神经网络优化:超参最佳实践与规模

    规模律研究的是随着神经网络规模的增大,超参数、性能是如何改变的。规模律是对模型、数据、优化器关系的深刻刻画,揭示大模型优化时的普遍规律。
    的头像 发表于 12-10 21:45 600次阅读

    WiFi 6下的大规模部署策略

    随着数字化时代的快速发展,我们正处于一个多设备、高密度连接的时代。在这个背景下,WiFi 6(802.11ax)作为一项新的无线通信标准,被广泛认为是满足未来大规模连接需求的关键技术。本文将深入研究WiFi 6在大规模部署中的关
    的头像 发表于 11-02 16:33 215次阅读

    大规模MIMO测试在衰落信道数量和信号带宽方面有哪些特点优势?

    大规模MIMO测试方面,在衰落信道数量和信号带宽方面有哪些特点优势? 随着无线通信的迅猛发展,人们对于通信技术的要求也越来越高,特别是对于信号传输的可靠性和效率,这就需要我们不断改进通信技术来实现
    的头像 发表于 10-22 11:24 377次阅读

    大规模数据中心的优势和面临的挑战

    从本质上来说,数据中心是为大规模运行而设计的,通常容纳数十个(如果不是数百个)物理服务器和虚拟机。超大规模数据中心本质上是一个更高的级别,它可以支持数千台服务器和数百万个虚拟机。超大规模数据
    的头像 发表于 09-08 08:29 577次阅读
    超<b class='flag-5'>大规模数据</b>中心的优势和面临的挑战

    大规模红外焦平面阵列探测器的效像元率指标

    随着大规模红外焦平面阵列探测器应用的日益广泛,用户对其有效像元率指标提出了越来越高的要求。
    的头像 发表于 08-14 09:52 467次阅读
    <b class='flag-5'>大规模</b>红外焦平面阵列探测器的效像元率指标

    大规模集成电路12Gb/s SAS/SATA扩展

    电子发烧友网站提供《大规模集成电路12Gb/s SAS/SATA扩展器.pdf》资料免费下载
    发表于 08-07 09:59 0次下载
    <b class='flag-5'>大规模</b>集成电路12Gb/s SAS/SATA<b class='flag-5'>扩展</b>器

    BigCode背后的大规模数据去重方法有哪些?

    本文面向对大规模文档去重感兴趣,且对散列 (hashing) 、图 (graph) 及文本处理有一定了解的读者。
    的头像 发表于 08-02 10:27 537次阅读
    BigCode背后的<b class='flag-5'>大规模数据</b>去重方法有哪些?

    SPI数据传输有哪些方式

    SPI 数据传输可以有两种方式:同步方式和异步方式。 同步方式数据传输的发起者必须等待本次
    的头像 发表于 07-25 10:54 3389次阅读
    SPI<b class='flag-5'>数据传输</b>有哪些<b class='flag-5'>方式</b>

    大规模MIMO技术的原理、与传统MIMO相比的优势

      大规模MIMO(Massive MIMO)技术是一种利用大量天线进行信号传输和接收的技术,可以提高无线通信系统的容量、速率和可靠性。大规模MIMO技术是MIMO技术的一种扩展,通过
    发表于 05-19 18:10 6274次阅读