0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

MQ要怎么实现缓冲流量和削峰填谷

西西 来源:itpub技术栈 作者:沈剑 2020-11-01 10:34 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

MQ,很多的应用场景,是消息的订阅发布,是系统上下游的解耦,MQ的还有一个典型应用场景是缓冲流量,削峰填谷,本文将简单介绍下,MQ要怎么实现缓冲流量,削峰填谷。

站点与服务上下游之间,一般如何通讯?有两种常见的方式。

一种是“直接调用”,通过RPC框架,上游直接调用下游。

一种是“MQ推送”,上游将消息发给MQ,MQ将消息推送给下游。

这两种方式,能否缓存流量,能否削峰填谷?不能。不管采用“直接调用”还是“MQ推送”,都有一个缺点,下游消息接收方无法控制到达自己的流量,如果调用方不限速,很有可能把下游压垮。

举个栗子,秒杀业务:上游:发起下单操作。下游:完成秒杀业务逻辑(库存检查,库存冻结,余额检查,余额冻结,订单生成,余额扣减,库存扣减,生成流水,余额解冻,库存解冻)。

上游下单业务简单,每秒发起了10000个请求,下游秒杀业务复杂,每秒只能处理2000个请求,很有可能上游不限速的下单,导致下游系统被压垮,引发雪崩。

如何避免下游被压垮呢?为了避免雪崩,常见的优化方案有两种:(1)业务上游队列缓冲,限速发送;(2)业务下游队列缓冲,限速执行;

不管哪种方案,都会引入业务的复杂性,有“缓冲流量”需求的系统都需要加入类似的机制,正所谓“通用痛点统一解决”,需要一个通用的机制解决这个问题。

能否通过MQ实现缓冲流量?可以,但需要简单修改。

MQ要怎么改,能缓冲流量?由MQ-server推模式,升级为MQ-client拉模式。

MQ-client根据自己的处理能力,每隔一定时间,或者每次拉取若干条消息,实施流控,达到保护自身的效果。并且这是MQ提供的通用功能,无需上下游修改代码。

如果上游发送流量过大,MQ提供拉模式确实可以起到下游自我保护的作用,会不会导致消息在MQ中堆积?下游MQ-client拉取消息,消息接收方能够批量获取消息,需要下游消息接收方进行优化,方能够提升整体吞吐量,例如:批量写。

结论(1)MQ-client提供拉模式,定时或者批量拉取,可以起到削平流量,下游自我保护的作用(MQ需要做的);(2)要想提升整体吞吐量,需要下游优化,例如批量处理等方式(消息接收方需要做的);

架构优化要整体考虑,需要通用服务和业务方一起优化升级。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • RPC
    RPC
    +关注

    关注

    0

    文章

    113

    浏览量

    12198
  • 站点
    +关注

    关注

    0

    文章

    6

    浏览量

    7532
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    破解峰谷难题:虚拟电厂联动源网荷储,实现能源“

    简婷 安科瑞电气股份有限公司 上海嘉定  201801 技术支持18701998775 虚拟电厂是什么?  根据国家发改委、能源局2025年发布的《关于加快推进虚拟电厂发展的指导意见》,虚拟电厂是基于电力系统架构,运用现代信息通信、系统集成控制等技术,聚合分布式电源、可调节负荷、储能等各类分散资源,作为新型经营主体协同参与电力系统优化和电力市场交易的电力运行组织模式。你可以从以下几个核心方面理解它: 无实体却有“电厂"效能:它没有传统火电
    的头像 发表于 11-18 16:51 500次阅读
    破解峰谷难题:虚拟电厂联动源网荷储,<b class='flag-5'>实现</b>能源“<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>”

    泰晶科技晶振产品在风光储一体化系统的应用

    风光储一体化系统通过储能装置的“”,将不稳定的电能变为优质、可控的电源,这一过程依赖于核心MCU对海量数据的实时处理与复杂控制算法(如MPPT、电池管理BMS、储能变流器PCS
    的头像 发表于 11-05 14:57 460次阅读

    省下的电费,能覆盖零碳改造成本?

    建筑是全球能耗与碳排放的核心领域 —— 国际能源署数据显示,2020 年全球建筑运行能耗占社会总能耗 36%,碳排放占比 37%。未来新建建筑的增长,将对 “2030 年建筑业能源强度改善 30%” 目标及《巴黎协定》兑现形成挑战,因此发展高能效的零碳建筑成为各国减碳关键路径。 咨询:程瑜  187 0211 2087 我国建筑节能以 1980-1981 年建筑能耗为基准,按 “每步在上一阶段基础上提效 30%” 划分阶段,目前住宅与公共建筑普遍执行 “节能 50%” 标准。以下聚焦零
    的头像 发表于 11-04 14:15 75次阅读
    <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>省下的电费,能覆盖零碳改造成本?

    安科瑞工商业分布式储能系统解决方案:自发自用、余电上网、,精打细算每一度电,提升企业竞争

    安科瑞戴婷 Acrel-Fanny 工商业分布式储能是一种面向工商业用户的储能系统,通常安装在用户侧(如工厂、商业楼宇、数据中心等场所),以 “自发自用、余电上网” 或 “
    的头像 发表于 07-08 12:55 1013次阅读
    安科瑞工商业分布式储能系统解决方案:自发自用、余电上网、<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>,精打细算每一度电,提升企业竞争

    通孔电镀孔工艺研究与优化

    为了提高高密度互连印制电路板的导电导热性和可靠性,实现通孔与盲孔同时孔电镀的目的,以某公司已有的电镀盲孔工艺为参考,适当调整盲孔电镀液各组分浓度,对通孔进行
    的头像 发表于 04-18 15:54 1571次阅读
    通孔电镀<b class='flag-5'>填</b>孔工艺研究与优化

    充电桩补电微储系统方案可行性分析

    储能和充电桩相结合, 不仅能实现节能减排、的政治目标, 还可以从峰谷价差中,取得不菲的经济效益。
    的头像 发表于 04-12 17:13 371次阅读

    “弃风弃光成顽疾?储能技术如何为微电网‘’定乾坤?”

    程瑜 187 0211 2087 安科瑞电气股份有限公司 上海嘉定 201801 摘要:储能技术在微电网中不仅仅是作为能源的缓冲装置,还扮演着协调能源流动、优化系统运行以及支持新型应用场景的多重角色
    的头像 发表于 03-28 16:03 751次阅读
    “弃风弃光成顽疾?储能技术如何为微电网‘<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>’定乾坤?”

    Acrel-2000ES:,为企业电费减负的 “智慧管家”

    实现峰谷套利、需(容)量管理等功能及安全可靠经济运行的方法,并着重研究了储能能量管理系统(EMS)这一核心环节。以安科瑞储能能量管理系统Acrel-2000ES为例,详细介绍其功能特点、应用场景,旨在为工商业储能系统的优化提供参考,助力行
    的头像 发表于 03-27 14:12 604次阅读
    Acrel-2000ES:<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>,为企业电费减负的 “智慧管家”

    ×动态调度:安科瑞EMS3.0让虚拟电厂「活」起来

    技术,实现了对分布式光伏、储能系统、充电桩及各类负荷的实时监控与动态优化。其核心目标是通过智能调度与预测,提升新能源消纳能力、降低能源成本,并助力企业微电网向虚拟电厂(VPP)过渡,最终参与电力市场交易。这一平台不仅是技术迭代的产物,更是
    的头像 发表于 03-20 16:45 680次阅读
    <b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>×动态调度:安科瑞EMS3.0让虚拟电厂「活」起来

    反激式开关电源增加填线路后纹波异常抖动解决方案

    失稳或EMI超标。二、电路工作原理与潜在问题1.电路原理-典型结构:由二极管和电容组成,通过电容分时充电实现输入电流波形整形(如图2
    的头像 发表于 03-19 09:50 2152次阅读
    反激式开关电源增加填<b class='flag-5'>谷</b>线路后纹波异常抖动解决方案

    浅析光储充能量管理的设计及应用

    本文根据光储充系统自发自用,并网不上网原则设计了一种能量管理策略。通过峰谷电价,白天光伏/储能出力满足负载需求,夜间从电网购电满足储能充电及负载供电需求,从而实现光伏*大消纳,储能
    的头像 发表于 03-18 11:19 825次阅读
    浅析光储充能量管理的设计及应用

    工商业储能,,降本增效

    安科瑞 程瑜 187 0211 2087 审核编辑 黄宇
    的头像 发表于 02-12 10:58 318次阅读
    工商业储能,<b class='flag-5'>削</b><b class='flag-5'>峰</b><b class='flag-5'>填</b><b class='flag-5'>谷</b>,降本增效

    穿心磁珠的原理及应用

    的“”,就是利用楞次定律来实现抑制噪音。电感在滤波应用的过程中会有铜损与铁损,所以当然也会有利用铁损来
    的头像 发表于 01-21 09:31 1824次阅读
    穿心磁珠的原理及应用

    浅谈变电站区域充电桩运行协调自动控制的方法与研究

    电动汽车的发展能有效解决能源危机问题,其充电方式为充电桩,海量电动汽车的无序充电,导致变电站区域出现+的问题叫,明显提升变电站区域的网损,降低电能质量,为解决这一系列的问题,需研究充电桩控制方法,实现
    的头像 发表于 01-09 10:59 941次阅读
    浅谈变电站区域充电桩运行协调自动控制的方法与研究

    LTC6087仿真结果发现输出电压出现现象,低电压也达不到轨到轨,怎么解决?

    LTC6087,想着也用这个实现单端转差分电路吧,按照LT1819的电路,压摆率对于50kHz是没问题的,结果仿真出来发现输出电压出现现象,低电压也达不到轨到轨, 我调整了反馈电阻大小,但问题没有完全
    发表于 12-19 07:49