0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

低延迟的分布式数据库架构对于新兴的雾应用程序至关重要

星星科技指导员 来源:嵌入式计算设计 2022-12-02 13:58 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

物联网 (IoT) 解决方案对任何数据库都提出了独特的挑战。来自非常广泛的物联网设备的数据越来越大,速度越来越快,再加上关键的延迟要求。鉴于此,数据的处理和分析必须越来越多地在网络边缘处理,靠近传感器、执行器和其他物联网设备。

我们不再奢侈地能够在云环境中处理物联网数据,因为云环境中似乎有无限的计算和存储资源,因为延迟是不可接受的。值得庆幸的是,有强大的数据库和平台解决方案可以正面应对这一挑战,我们将在下面进行探讨。但首先,让我们回顾一下物联网环境特有的一些数据要求。

考虑到物联网和大数据的数量、速度、多样性和准确性(“四个V”)要求,以及许多这些用例的分布式性质,边缘计算越来越多地成为赌注的隐喻。

那么,如果我们回到边缘的分布式计算,有没有办法保持我们长期享有的功能(以及我们在过去 10 年中云计算的巨大趋势的原因)?我们也可以吃蛋糕吗?

通过雾计算将云主体带到边缘

幸运的是,在这种情况下 - 随着雾计算的普及和增长趋势 - 答案是肯定的。解决方案是将云主体带到边缘,雾和云环境协同运行,以处理复杂的物联网用例。当您有关键的延迟要求时,例如对于枪击检测或犯罪人脸识别等智能城市物联网用例,您的数据必须由靠近 IP 摄像机和其他传感器的加固雾节点处理。

非延迟关键数据仍可同步到核心或云。通过这种方式,来自 IoT 解决方案中所有边缘设备和雾节点的数据可以在核心级别(例如,智能城市用例中的城市街区)聚合,并最终聚合到云或数据中心环境以进行商业智能和其他分析。

对于雾计算,我们将物联网设备、边缘设备、雾节点和云之间的数据通信称为“南北”通信,将整个系统中边缘/雾节点之间的数据通信称为“东西向”通信。为了有效,我们必须在边缘拥有通用的云或数据中心环境功能,例如机器学习深度学习和其他人工智能

这就带来了下一个挑战:考虑到边缘设备和雾节点的分布式性质以及适度的存储和计算能力,我们如何处理这些需求?让雾和云环境协同运行至关重要。例如,通过机器学习,我们需要在拥有大量计算和存储资源的云中训练模型。然后,我们需要将这些经过训练的模型部署到雾节点和/或边缘设备,以便它们可以靠近物联网设备,以最大程度地减少延迟。

面向“智能边缘”的数据库

“智能边缘”已经到来,并将我们从这些看似无法解决的问题中解救出来(或者小林丸为你们《星际迷航》粉丝)。边缘已经成为当今物联网的战场,但地球上是否有一个数据库可以处理来自数千个传感器、摄像头和其他设备的大量高速数据?一个可以实时处理数据,使用许多不同的数据库模型,并且占用空间小?

业界正在解决这个问题,答案是:是的。

现在市场上有解决方案可以提供快速的性能,并且能够在物联网边缘每秒摄取数百万次写入,延迟不到 1 毫秒。这很强大。由于这些解决方案的硬件和软件占用空间很小,因此在某些情况下,它们非常适合安装在雾节点、边缘网关设备甚至物联网设备上。

其中一些解决方案(例如 Redis Enterprise)具有许多本机数据结构(集合、排序集、列表、哈希、流等),为 IoT 应用程序开发人员提供了最大的灵活性。此外,由于已经存在许多模块来扩展它,这些解决方案可以采用多模型数据库,可以处理物联网边缘所需的非常多样化的工作负载:时间序列、图形、机器学习、搜索等。

简化的架构

这些平台无需部署六个不同的数据库来支持这些需求,而是可以管理所有这些数据库,从而极大地简化了您的架构。许多任务关键型物联网用例在地理上分布在许多地区,这是另一个用例,可以通过具有高可用性、主动-主动(具有 CRDT)、灾难恢复和自动扩展功能的平台优雅地处理。

既然我们已经展示了值得在智能边缘上使用的数据库,您可能想知道哪个平台最适合在物联网边缘运行它们?当然,有很多变量和选项。在Redis Labs,我们与Microsoft Azure合作开发了物联网边缘解决方案。关键是为客户提供快速的常规数据存储、Azure Edge 模块之间的消息代理、流处理、时序数据库和内存中处理(机器学习模型服务、图形处理等),以实现最佳性能。

物联网社区将从联合物联网边缘解决方案中受益匪浅。但是,将正确的数据库与正确的智能物联网边缘解决方案集成对于所有物联网工作的成功至关重要。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2577

    文章

    55483

    浏览量

    793851
  • 物联网
    +关注

    关注

    2950

    文章

    48121

    浏览量

    418278
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    微电网集中式架构vs分布式架构:设计差异与选型依据

    微电网作为整合“源、储、荷、网”的新型能源系统,其架构设计直接决定系统的运行效率、可靠性、扩展性与经济性,是微电网规划建设的核心环节。在微电网主流架构中,集中式架构分布式
    的头像 发表于 04-02 11:40 420次阅读
    微电网集中式<b class='flag-5'>架构</b>vs<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>:设计差异与选型依据

    西格电力微电网总体架构设计:分层分布式控制体系构建

    随着分布式新能源规模化渗透、负荷需求多元化升级,微电网作为整合“源、储、荷、网”多单元的新型能源系统,其安全稳定、高效经济运行的核心诉求,对总体架构设计与控制体系提出了更高要求。微电网总体架构是系统
    的头像 发表于 03-31 11:44 493次阅读
    西格电力微电网总体<b class='flag-5'>架构</b>设计:分层<b class='flag-5'>分布式</b>控制体系构建

    2022全新版!Java分布式架构设计与开发实战(完结)

    2022全新版!Java分布式架构设计与开发实战(完结) 分库分表实战:Java海量数据存储架构设计 在现代互联网应用中,随着业务规模的指数级增长,
    发表于 03-30 15:20

    生产环境数据库连接池耗尽的全流程排查与性能优化实战

    数据库连接池是应用程序数据库之间的缓存连接组件。连接池在应用程序启动时创建一组数据库连接,应用程序
    的头像 发表于 03-27 15:58 313次阅读

    TiDB分布式数据库运维实践

    TiDB 是 PingCAP 开发的开源分布式关系型数据库,兼容 MySQL 5.7 协议,底层存储基于 TiKV(分布式 KV 存储)和 RocksDB。它解决的核心问题是:当单机 MySQL 无法承载
    的头像 发表于 03-04 15:44 282次阅读

    分布式数据恢复—Ceph+TiDB数据恢复报告

    无法正常访问。目标需要恢复的RBD卷中存储了一台虚拟机的完整磁盘镜像,该虚拟机内部运行TiDB分布式数据库系统,包含重要的业务数据
    的头像 发表于 02-03 17:22 238次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>数据</b>恢复—Ceph+TiDB<b class='flag-5'>数据</b>恢复报告

    分布式光伏环境监测站的技术架构与应用实践

    分布式光伏环境监测站的技术架构与应用实践 柏峰【BF-GFQX】一、系统技术架构解析 分布式光伏环境监测站采用“感知层-传输层-应用层”三层架构
    的头像 发表于 10-13 10:05 738次阅读
    <b class='flag-5'>分布式</b>光伏环境监测站的技术<b class='flag-5'>架构</b>与应用实践

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小容量工商业
    的头像 发表于 08-23 08:04 3654次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控系统在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    有哪些方法可以降低分布式光伏集群通信网络中的延迟

    微机小电流 降低分布式光伏集群通信网络的延迟,需从 接入优化、数据处理、协议适配、环境抗扰、边缘 - 云端协同 等多维度入手,结合场景特点针对性解决瓶颈。以下是具体方法: 一、优化接入层:减少节点
    的头像 发表于 08-22 09:54 883次阅读
    有哪些方法可以降低<b class='flag-5'>分布式</b>光伏集群通信网络中的<b class='flag-5'>延迟</b>?

    宏集分享 | 集中式架构还是分布式架构?SCADA架构选型的新趋势

    HongraxIIoT在工业数字化不断推进的今天,SCADA系统早已不仅是简单的数据监控工具,它正在成为保障企业运行效率、安全性和业务连续性的战略核心。而“选择集中式、分布式还是混合式架构?”也正
    的头像 发表于 08-08 18:15 851次阅读
    宏集分享 | 集中式<b class='flag-5'>架构</b>还是<b class='flag-5'>分布式</b><b class='flag-5'>架构</b>?SCADA<b class='flag-5'>架构</b>选型的新趋势

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战。
    的头像 发表于 08-04 11:34 1815次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b>存储效能革命

    对于当下分布式光伏发电市场前景预判

    自从531后,分布式光伏发电项目应该是相对减少了许多,但是依然还是会有,未来趋势是怎么样,是储能+自发自用余电不上网,还是有什么新的政策,欢迎讨论。
    发表于 07-25 08:58

    电力系统分布式故障实时定位技术——精准抗干扰快速响应

    在电力系统中,分布式故障的快速定位与隔离对保障电网稳定运行至关重要。传统的故障检测方法受限于干扰强、定位延迟高的问题,难以满足现代智能电网的高可靠性需求。我们的分布式故障实时定位技术,
    的头像 发表于 07-11 10:43 701次阅读
    电力系统<b class='flag-5'>分布式</b>故障实时定位技术——精准抗干扰快速响应

    企业级MySQL数据库管理指南

    在当今数字化时代,MySQL作为全球最受欢迎的开源关系型数据库,承载着企业核心业务数据的存储与处理。作为数据库管理员(DBA),掌握MySQL的企业级部署、优化、维护技能至关重要。本文
    的头像 发表于 07-09 09:50 886次阅读

    数据库数据恢复—SQL Server数据库被加密如何恢复数据

    SQL Server数据库故障: SQL Server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。
    的头像 发表于 06-25 13:54 834次阅读
    <b class='flag-5'>数据库</b><b class='flag-5'>数据</b>恢复—SQL Server<b class='flag-5'>数据库</b>被加密如何恢复<b class='flag-5'>数据</b>?