0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

随着数据的大规模扩展,寻找有效的传输方式

douyin8 来源:douyin8 作者:douyin8 2022-07-21 10:20 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

用于分析、机器学习和其他类型分析的数据正在以越来越快的速度获取。但是 Tbytes(甚至 Zbytes)的数据需要一个有用的传输系统,虽然我们已经从通过单个管道移动数据过渡到基于云的服务,但我们在实践中面临着扩展的需求。物联网设备正变得越来越普遍,我们需要考虑如何在突然面临需求之前传输指数级的数据量。

实时大数据分析等应用程序需要对所有数据进行高带宽访问。由于带宽和容量,标准硬件解决方案可能被证明是不够的。因此,为了解决成本(尤其是在扩大规模时)、带宽、容量和长期可靠性,目前有两种有效的选择。第一个是高速互联网上的云计算,第二个是具有高速光纤连接的本地化便携式存储阵列。

云解决方案

云解决方案的优势包括将成本和增长的麻烦转移到云提供商身上。本地机器可以卸载到通常可靠的云系统。具有冗余和历史备份的企业级存储阵列通常可从许多云提供商处获得,这些云提供商通过部署多个分散数据中心的网络提供额外的可靠性和性能。随着全球数据中心生态系统不断壮大,维护着海量虚拟云,云解决方案提供了一种日益强大和便捷的方式来存储和传输由物联网、自动驾驶汽车和其他互联智能设备等新技术和应用程序生成的大量数据。

但是,虽然标准 Internet 连接提供了方便的访问,但它也限制了 Internet 连接速度的带宽。在放弃维护系统的麻烦的同时,您也放弃了对云机器性能的控制,仅限于提供的内容。

本地化便携式解决方案

借助本地化的便携式解决方案,可以定制性能以满足应用需求,提供极大的灵活性。计算负载仍然可以卸载,这次从客户端机器转移到服务器上,您可以设置安全协议,以便只有本地客户端可以访问系统。本地化系统的主要优点是使用高速光纤网络适配器的连接速度要高得多。以太网上的 10Gb/s 连接已经开始打入消费级市场,并且通过商业级 SFP 连接和光纤互连可以获得更高的速度。与互联网上 96Mbps/32Mbps 的全国平均水平相比,这提供了明显更快的速度。预计物联网将产生 Zettabytes随着利用这些海量数据集的机器学习等新技术的增长和发展,这种速度可能不足以满足某些应用程序的需求。除了增加的总带宽外,本地化解决方案还提供更低的延迟,并且可以使需要低响应时间的应用程序受益,例如高分辨率镜头的视频编辑和合成/渲染好莱坞级特效序列。为了提高速度和响应能力,本地化存储系统可以使用固态存储驱动器作为高速数据缓冲区进行定制,或用于替代传统硬盘驱动器存储介质作为主要存储单元。

借助本地化单元,整个存储系统的传输和部署可以像使用 CP Technologies 的便携式存储阵列一样简单地将其运送到所需位置并连接起来. 这些类型的存储设备为将数百 TB 的数据迁移到云提供商提供了一种方便有效的方法。数据可以使用高速光纤连接在最短的时间内传输并存储在系统上,然后手动携带或运送到云提供商的数据中心。使用此类本地化解决方案,与通过 Internet 发送所有数据相比,您可以通过在新位置重新部署来显着更快地传输 TB 数据。而且,如果您需要 Internet 可访问性,可以将本地化解决方案配置为可访问 Internet。此外,通过使用独立的便携式存储单元,您还可以在从站点到站点传输数据时保持高度的数据安全性,

本地化存储的主要缺点是它不如分散式云存储强大。如果发生洪水或其他天灾,而您没有额外的场外机器,那么您可能会失去一切。容量和增长将受到本地机器的大小和数量的限制。虽然本地化解决方案往往具有很高的成本效益,但在扩展现有存储解决方案时需要考虑额外的空间、电力和冷却成本。

无论哪种解决方案最适合您,都需要考虑创建数据冗余。分散式云可以通过将数据分散到多个数据中心来减轻灾难的影响。本地系统应与随附的异地存储解决方案一起使用,以确保数据系统的安全性与其地理位置分离。在将机器从站点转移到站点时,采用 CP Tech 制造的坚固设计可确保数据在传输过程中保持安全。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    7363

    浏览量

    95160
  • 物联网
    +关注

    关注

    2951

    文章

    48261

    浏览量

    419630
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Cognizant将收购Astreya,大规模深化其AI优先的托管服务能力

    。此次交易金额未予披露。 该交易有望推动Cognizant向AI构建商的转型,并通过大规模利用Astreya面向企业客户的广泛托管服务能力,显著扩展Cognizant的AI基础设施核心能力。
    的头像 发表于 05-16 11:50 304次阅读

    意法半导体为超大规模AI数据中心破解供电难题

    中心的高密度电力传输解决方案》白皮书,深度解析ST适配NVIDIA 800V DC架构的高密功率传输方案,为超大规模AI数据中心破解供电难题!
    的头像 发表于 04-07 15:46 448次阅读
    意法半导体为超<b class='flag-5'>大规模</b>AI<b class='flag-5'>数据</b>中心破解供电难题

    高带宽服务器在大规模数据传输中的优势解析

    影响系统性能的重要因素。 如果服务器带宽不足,就容易出现下载速度慢、视频加载卡顿、数据同步延迟等问题。因此,很多企业开始部署高带宽服务器来满足大规模数据传输需求。本文将详细分析高带宽服务器在大规模数据传输
    的头像 发表于 03-11 09:14 521次阅读

    全球首个最大规模跨本体视触觉多模态数据集白虎-VTouch发布

    具身智能走向真实世界规模化应用,离不开可复现、可扩展、可协同演进的数据基础设施。围绕真实物理交互能力构建这一核心工程目标,1月26日,国家地方共建人形机器人创新中心联合上海纬钛科技有限公司正式发布
    的头像 发表于 01-29 14:41 996次阅读

    投入式水位计数据传输方式解析:支持远程监控吗?

    在现代岩土工程与水利工程的安全监测中,数据的实时性与传输的可靠性至关重要。投入式水位计作为核心监测设备,其数据传输方式直接决定了整个监测系统的效率与智能化水平。那么,这类水位计的
    的头像 发表于 12-18 14:10 438次阅读
    投入式水位计<b class='flag-5'>数据传输</b><b class='flag-5'>方式</b>解析:支持远程监控吗?

    TensorRT-LLM的大规模专家并行架构设计

    之前文章已介绍引入大规模 EP 的初衷,本篇将继续深入介绍 TensorRT-LLM 的大规模专家并行架构设计与创新实现。
    的头像 发表于 09-23 14:42 1504次阅读
    TensorRT-LLM的<b class='flag-5'>大规模</b>专家并行架构设计

    大规模物联网供电:考虑因素与微能量采集技术解决方案

    5G 技术推广促使工业 4.0 等大规模物联网应用爆发式增长,但为数十亿无线节点提供可扩展可靠电源挑战巨大,不解决将阻碍其普及。仅靠增加电池不可行,需采用能量采集(EH)技术。确定大规模物联网节点
    的头像 发表于 09-22 16:05 808次阅读

    大规模专家并行模型在TensorRT-LLM的设计

    DeepSeek-V3 / R1 等模型采用大规模细粒度混合专家模型 (MoE) 架构,大幅提升了开源模型的质量。Llama 4 和 Qwen3 等新发布的开源模型的设计原则也采用了类似的大规模细粒度 MoE 架构。但大规模 M
    的头像 发表于 09-06 15:21 1555次阅读
    <b class='flag-5'>大规模</b>专家并行模型在TensorRT-LLM的设计

    使用Ansible实现大规模集群自动化部署

    当你面对1000+服务器需要部署时,你还在一台台手工操作吗?本文将揭秘如何用Ansible实现大规模集群的自动化部署,让运维效率提升10倍!
    的头像 发表于 08-27 14:41 1113次阅读

    应变计的数据传输方式有哪些,是否支持无线传输?

    在结构物安全监测领域,振弦式应变计的数据传输方式直接影响监测效率与系统可靠性。针对工程用户的常见疑问——“是否支持无线传输?”南京峟思将为大家解析其有线、无线传输方案及应用场景,助力科
    的头像 发表于 07-15 14:03 668次阅读
    应变计的<b class='flag-5'>数据传输</b><b class='flag-5'>方式</b>有哪些,是否支持无线<b class='flag-5'>传输</b>?

    振弦式应变计两种数据传输方式介绍

    在岩土工程及结构健康监测领域,振弦式应变计凭借其高精度、抗干扰能力强的特性,成为桥梁、隧道、大坝等基础设施安全监测的核心设备。数据传输方式作为连接传感器与监测系统的“神经通路”,直接影响着数据
    的头像 发表于 07-15 13:38 846次阅读
    振弦式应变计两种<b class='flag-5'>数据传输</b><b class='flag-5'>方式</b>介绍

    Silicon Labs(芯科科技)与Wirepas合作芯片组出货量破千万,助力大规模工业物联网

    (SoC),该方案采用了芯科科技的FG23 Sub-GHz SoC,为全球规模最大、要求最严苛的工业网状网络提供支持,包括智能电表、应急照明、工业监控和楼宇自动化等领域。 两家公司拥有悠久的合作历史,共同打造了稳健、超高韧性和大规模
    的头像 发表于 07-14 19:00 3487次阅读
    Silicon Labs(芯科科技)与Wirepas合作芯片组出货量破千万,助力<b class='flag-5'>大规模</b>工业物联网

    伟创力高效电源模块在超大规模数据中心的应用

    受云端存储和数据处理需求持续增长的推动,数据中心正以前所未有的速度扩张。当前全球超大规模数据中心,即规模最大的那些数据中心,总容量在过去四年
    的头像 发表于 07-07 15:41 1552次阅读

    纳微半导体推出12kW超大规模AI数据中心电源

    近日,纳微半导体宣布推出专为超大规模AI数据中心设计的最新12kW量产电源参考设计,可适配功率密度达120kW的高功率服务器机架。
    的头像 发表于 05-27 16:35 1855次阅读

    三维高斯泼溅大规模视觉SLAM系统解析

    仍未得到探索。本文提出一种基于立体相机的三维高斯泼溅大规模视觉SLAM系统LSG-SLAM。通过在EuRoC数据集上的广泛评估,LSG-SLAM展示了其在大规模室外场景中的优越性能。在KITTI
    的头像 发表于 05-27 14:13 1942次阅读
    三维高斯泼溅<b class='flag-5'>大规模</b>视觉SLAM系统解析