电子发烧友网 > 人工智能 > 正文

京东云与AI独创分布式网络负载均衡是如何做到的

2020年01月15日 17:14 次阅读

为了缓解铁路运输压力,确保旅客平安畅通出行,每年春运时节,全国各地的铁道部门都会依据客流情况,在原有的列车基础上安排新增临时列车,与此同时,火车站的售票窗口也相继增加,以应对客流高峰。

其实,这就是日常生活中所体现的“负载均衡”原理,根据客流的变化情况,动态调整列车数量和窗口功能,合理均衡客流,优化出行流程。在软件系统中也是一样的道理,为了避免流量分摊不均,造成局部节点负载过大(如CPU吃紧等),所以需要一个总入口来承担类似铁道部门的“调度”角色。

负载均衡就是一个统一网络入口的组件,它接收所有网络请求,然后根据预设的规则,把请求转达给某一台单独服务器去处理,并且能实现微服务的水平拓展,处理能力和参与服务的实例数目都能动态变化,可以保障处理速度。当某个实例发生故障时会被自动摘除,对访问者不会产生影响,从而实现高可用性。

不同的负载均衡技术有不同的实现方式及优势。比如,京东云与AI自主研发的分布式网络负载均衡(简称“DNLB”),通过将用户的无状态业务请求按照一定策略自主分发给多台后端服务器,从而调整资源利用情况,消除由于单台后端服务器故障对系统的影响,解决大并发流量压力,来提高用户服务系统可用性、扩展系统服务能力。

正如京东云与AI产品研发部产品总监刘俊辉所言:“DNLB是一款基于京东云SDN技术的无状态四层负载均衡,提供软件定义的全可用区分布式负载均衡服务。相比于主要面向7层应用的ALB和具会话保持功能的NLB,DNLB不单独占用计算资源,天然具有转发性能无瓶颈、全可用区高可用、低时延、自动弹缩和长期免费的优点,满足客户三高一低(高性能、高可用、高弹性和低时延)服务场景需求。”

SDN浸入式架构,实现网络智能化管理

相比于其他负载均衡产品,京东云与AI的DNLB无负载均衡实体存在,不单独占用计算资源,它的转发性能完全依赖于京东云SDN架构,这就意味着它的转发性能无瓶颈,能实现对数据中心网络的智能化管理,充分利用网络宽带资源。

京东云与AI独创分布式网络负载均衡是如何做到的

无专用节点,零成本运营

传统的负载均衡为分担用户访问的压力,会将网站压力分配给每一个节点,从而实现集群的横向扩展。但当遇到扩容时,就需要不断加入新的节点,从而造成用量随着负载线性增加的局面,对于有状态的服务来说,还需要启用会话保持来保证把流量分发到固定的节点上去。京东云与AI 的DNLB是建立在SDN浸入式架构之中,不存在专用节点 ,系统吞吐量可以达到最大,性能也更高,对用户来说也没有任何成本投入。

全可用区高可用,保证用户业务连续性

除了无瓶颈的高转发性能,DNLB还具备全可用区高可用的优势,由于DNLB实例采用的是全可用区分布式部署架构,系统中每个可用区都能处理一部分的负载,如果某个可用区发生故障,那么其它的可用区可以迅速接替它来运行,对用户不会产生任何影响。

保留源IP地址,客户端操作简便

同时,在DNLB中用户源IP地址可直接透传到后端服务器,也就是说后端服务器上看到的网络包的源地址就是用户的真实访问地址,用户不需要做其它任何操作,就可以直接获取源端真实的IP信息。

解耦负载均衡与会话保持功能,帮助用户实现灵活部署

DNLB将负载均衡功能与会话保持功能解耦,使每个模块之间的关联减少,保持独立性,即便一个地方出错,也不会影响全部,从而实现更高性能、更灵活的部署。

后端服务丰富,为用户提供更多选择

由于DNLB沿袭的是ALB的虚拟服务器组设计,所以后端服务可根据流量负载情况自动调整服务器个数,以实现合理利用资源,并支持云主机和容器作为后端服务实例,为用户业务部署提供更多选择。

成熟的应用实践,为用户提供高性能服务

抛开功能层面来讲,DNLB还是一个在应用实践上的“老司机”,已在京东云与AI内部多个产品(例如:RDS、MongoDB、Redis、ES等)的高可用架构中集成,其技术的成熟度可以确保用户享受到最高性能的服务,是对性能、时延和业务横向扩展有高要求,在四层负载均衡上的极佳选择。

从当前的网络应用上来看,专业的负载均衡技术,能给用户带来更大的价值和更高的效率,尤其是对于那些部署了微服务架构、数据中心容器的企业来说,使用DNLB能很好满足无状态业务的大并发流量和高可用性的分发需求。

比如说,像6.18、11.11这类电商大促活动时,Web 访问量在短暂的数小时内可能比平常瞬间增加 10 倍以上,启用DNLB对业务系统进行流量分发,随着应用的弹性扩展,DNLB的转发能力同步扩展,保障系统对外的服务能力,可以满足业务波峰时资源调控的需求。

而如果这时选用的是传统的硬件设备搭建集群,就会遇到硬件成本高昂,运维繁琐等问题。对于业务流量峰值高,需构建低成本架构的场景而言,DNLB可以有效应对峰值流量,降低部署成本,使其摆脱硬件设备的运维工作,专注于产品功能的开发。

现如今,人工智能和实体经济的深度融合,正在推动一个新的经济时代的到来。京东云与AI的DNLB基于现有的网络结构,面向高性能、大并发、低延时、无状态的业务分发场景,提供了软件定义的全可用区分布式负载均衡服务,加强了网络数据处理能力,提高了网络的灵活性和可用性。尤其像银行、电商、医疗、交通、互联网这些数据量大、计算量大、通信量大的企业,都成为分布式负载均衡发挥自身优势最主要的平台。

京东云与AI作为京东集团强大商业能力的技术赋能出口,在商用以来3年多的时间里,推出及更新多达300+款产品与服务,实现100%云上订单,呈飞跃式发展。在2019年,获得公有云和私有云双一级资质。在2019年6.18和11.11期间,实现了从容面对数百亿访问流量、每秒数百万次的高并发请求,完全能够胜任在高负载、高并发、高挑战的网络压力下,保证业务系统平稳运行,保证全天核心服务不降级、零重大事故。2019年IDC报告显示,京东云中国公有云IaaS市场排名第九, YtY(同比)增速高达557%,行业最高,远超74%的平均水平。

“我们坚持实场景驱动,坚持以客户为中心,我们也正在从产品端出发,把人工智能、大数据、云计算、物联网等技术融合在一起,为产业融合、科技创新,提供最坚实、最前沿、最可信赖的计算基础设施和服务。”刘俊辉说。

责任编辑:ct

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发烧友学院发表于 2019-05-24 00:00 1605次阅读
【5月12】不懂编程没关系,邀请您来学AI

2020的AI有哪一些预言

一直以来,5G的高速度、低时延、大容量特点都被认为会带来AI、移动XR、自动驾驶等行业的颠覆性的改变....
发表于 2020-01-15 17:21 0次阅读
2020的AI有哪一些预言

网络安全领域的AI泡沫变小了?

机器学习不应将公司的网络安全作为单一防御层来支撑,而应将人员、流程和技术结合在一起,成为多层和全面安....
发表于 2020-01-15 17:11 6次阅读
网络安全领域的AI泡沫变小了?

AI应该怎样来判别客户的个性

他们将使人工智能系统失去社交性,运行算法并获得结果。对于处于此过程另一端的人们来说,该过程将没有透明....
发表于 2020-01-15 17:04 21次阅读
AI应该怎样来判别客户的个性

科技小达人全球领先品牌榜单发布 利亚德荣获两项品...

美国时间1月8日晚,在全球顶级消费电子展(CES 2020)举办期间,由国际数据集团主办的2019-....
发表于 2020-01-15 16:53 46次阅读
科技小达人全球领先品牌榜单发布 利亚德荣获两项品...

晶心科技Corvette-F1 N25领先成为符...

晶心科技为提供32及64位高效能、低功耗、精简RISC-V CPU处理器核心的领导供货商,今日宣布其....
发表于 2020-01-15 15:47 132次阅读
晶心科技Corvette-F1 N25领先成为符...

谷歌AI模型在即时预报降水的使用

据外媒报道,几周前,谷歌人工智能(AI)使用了一个机器学习模型来改进对乳腺癌的筛查工作。
发表于 2020-01-15 15:40 52次阅读
谷歌AI模型在即时预报降水的使用

食品的可追溯性如何利用好5G技术

5G网络有潜力实现动态、端到端的食品追溯——这得益于它能够同时连接到许多低功耗设备,如嵌入式物联网传....
发表于 2020-01-15 15:33 48次阅读
食品的可追溯性如何利用好5G技术

财务金融服务产业被人工智能做出了什么改变

AI是一种强大的科技,但当它与分析,区块链和物联网等技术相结合时,其功能呈指数级成长。
发表于 2020-01-15 15:29 15次阅读
财务金融服务产业被人工智能做出了什么改变

区块链在哪一些方面改变了物联网

由于默认情况下物联网是分散的,需要处理大量数据,并且需要设备和网络之间的信任,因此这似乎是专为区块链....
发表于 2020-01-15 15:20 108次阅读
区块链在哪一些方面改变了物联网

上海得以更好地运用先进技术服务其他领域的发展

在此一天前,央行、发改委、科技部、工信部、人社部和卫健委等六部门批准在北京、上海等10省市开展为期1....
发表于 2020-01-15 15:13 90次阅读
上海得以更好地运用先进技术服务其他领域的发展

以区块链赋能打造地产行业新维度

早在普罗大众对区块链概念尚处于懵懂和探索的阶段时,鑫苑科技便以超前的发展理念,针对互联网高新技术的研....
发表于 2020-01-15 15:11 77次阅读
以区块链赋能打造地产行业新维度

交通管理措施如何结合好物联网等技术

人工智能、大数据和物联网等现代技术可以提供有效的工具来减少甚至消除交通流量问题。
发表于 2020-01-15 15:07 13次阅读
交通管理措施如何结合好物联网等技术

Socionext携手合作伙伴打造AI边缘服务器

SoC设计与应用技术领导厂商Socionext宣布,与鸿海和Network Optix携手,共同打造....
发表于 2020-01-15 15:06 79次阅读
Socionext携手合作伙伴打造AI边缘服务器

CES 2020圆满落幕:人工智能和5G定义创新...

人工智能(AI)占据整个展区的主导,将在未来十年成为“主要成分技术”。不伦瑞克(Brunswick)....
发表于 2020-01-15 15:05 79次阅读
CES 2020圆满落幕:人工智能和5G定义创新...

文科生如何抓住人工智能时代的发展红利

通过人工智能来拓展自身的能力边界。随着人工智能产品的落地应用,文科生也可以借助于人工智能产品来拓展自....
发表于 2020-01-15 14:48 40次阅读
文科生如何抓住人工智能时代的发展红利

阿里公布100种新职业 猜一猜,人工智能训练师是...

阿里巴巴新职业报告显示,高品质消费需求催生了海鲜饲养员、水果猎人、大米经纪人等新职业,服务消费领域也....
发表于 2020-01-15 14:38 89次阅读
阿里公布100种新职业 猜一猜,人工智能训练师是...

人工智能浪潮中的计算社会科学

计算社会科学的发展。后工业化时代的复杂社会问题催生了计算社会科学的诞生。正是其所在的大数据时代使“我....
发表于 2020-01-15 14:32 53次阅读
人工智能浪潮中的计算社会科学

广东省已经通过了《广州人工智能与数字经济试验区建...

要争当人工智能与数字经济发展全球优选地,广州将如何搅动这场高段位的数字经济之争?相比琶洲试验区,广州....
发表于 2020-01-15 14:25 50次阅读
广东省已经通过了《广州人工智能与数字经济试验区建...

人工智能算法在视频聊天中就能检测心率和压力水平

总部位于以色列的初创公司Binah.ai开发出新的人工智能(AI)算法,在视频聊天中通过观察人脸的颜....
发表于 2020-01-15 14:23 88次阅读
人工智能算法在视频聊天中就能检测心率和压力水平

人工智能将取代现在大部分工作岗位,让无数人下岗?

潘云鹤认为,未来,人工智能也许会代替一小部分人的工作。但更多的是,一个人加上人工智能,能顶过去5个人....
发表于 2020-01-15 14:15 61次阅读
人工智能将取代现在大部分工作岗位,让无数人下岗?

英国研究出一种非侵入式可穿戴传感器 AI通过心电...

英国华威大学的研究人员利用一种非侵入式可穿戴传感器,依靠最新的人工智能,从原始心电图信号中检测出低血....
发表于 2020-01-15 14:12 20次阅读
英国研究出一种非侵入式可穿戴传感器 AI通过心电...

采用智能语音技术保护和传承闽南语

刘荣山表示,在语音识别和合成技术日益精进的今天,许多方言识别和合成系统发展已较为成熟。厦门大学智能语....
发表于 2020-01-15 14:10 68次阅读
采用智能语音技术保护和传承闽南语

AIoT走的路是由谁铺成的

从人工智能的角度思考,该技术的强大是根基于数据数据探勘后的演算,由于联网装置的普及,累积了足够的数据....
发表于 2020-01-15 14:09 30次阅读
AIoT走的路是由谁铺成的

换脸技术打开的“潘多拉魔盒”,人工智能亟待突破“...

目前,“人人都怕换脸术”的恐慌,已引起国家有关部门的高度关注。今年1月1日起施行的《网络音视频信息服....
发表于 2020-01-15 14:01 138次阅读
换脸技术打开的“潘多拉魔盒”,人工智能亟待突破“...

人工智能的重要十年已经过去 该行业即将进入一个新...

随着人工智能技术的能力被高估,然后又被重新评估,围绕人工智能的炒作在过去几年中经历了高峰和低谷。这些....
发表于 2020-01-15 13:59 20次阅读
人工智能的重要十年已经过去 该行业即将进入一个新...

人工智能可以更有效为小微企业服务

冯钰龙表示,如果你熟悉香港市场的话,小微企业要开一个银行帐户很难。我们如何利用人工智能方式更有效为他....
发表于 2020-01-15 13:52 25次阅读
人工智能可以更有效为小微企业服务

盘点:2019的人工智能赋能行业

智慧城市的建设离不开企业的技术创新与产品设备应用,需要将尖端的技术与城市的发展建设融合在一起,紧扣城....
发表于 2020-01-15 11:52 28次阅读
盘点:2019的人工智能赋能行业

人工智能时代 安防行业市场竞争进入了一个崭新的局...

人工智能时代,安防行业市场竞争将进入的一个崭新的局面,这里不再是传统安防企业的战场,新的玩家也在不断....
发表于 2020-01-15 11:50 18次阅读
人工智能时代 安防行业市场竞争进入了一个崭新的局...

机器学习中有哪一些算法是经常用的

人工神经网络(ANN)以大脑处理机制作为基础,开发用于建立复杂模式和预测问题的算法。
发表于 2020-01-15 11:49 20次阅读
机器学习中有哪一些算法是经常用的

2020年度物联网行业十大趋势预测 人工智能将向...

我国物联网产业经由十年的蓬勃发展,在科技创新、政策扶持和市场需求的多重驱动下,物联网通信设备和系统运....
发表于 2020-01-15 11:44 184次阅读
2020年度物联网行业十大趋势预测 人工智能将向...

安防工程开始与人工智能相互融合 工程成为推动安防...

人工智能、云计算、大数据、物联网等技术的发展带动了安防产业的腾飞,那么,在2019年,安防行业状况如....
发表于 2020-01-15 11:39 14次阅读
安防工程开始与人工智能相互融合 工程成为推动安防...

谷歌Coral已在36个国家进行部署,本地化AI...

伴随着人工智能(AI)的快速发展和日趋成熟,已经让机器人执行此前仅能由人类完成的各项任务。在工厂的生....
发表于 2020-01-15 11:38 96次阅读
谷歌Coral已在36个国家进行部署,本地化AI...

新一代人工智能技术研发中心成立 助力打造交通运输...

2020年1月10日,新一代人工智能技术交通运输行业研发中心授牌仪式暨管委会首次会议在浙江省交通运输....
发表于 2020-01-15 11:34 19次阅读
新一代人工智能技术研发中心成立 助力打造交通运输...

目前人工智能领域都有哪些技术岗位

首先,人工智能领域目前已经逐渐形成了一个庞大的产业体系,整个产业体系结构中也涉及到大量的工作岗位。
发表于 2020-01-15 11:29 65次阅读
目前人工智能领域都有哪些技术岗位

人工智能技术赋能传媒行业,实现流程的再造化

回顾整个2019年,人工智能吸引了来自政府、科技巨头和学术界的大量关注。就商业化而言,据普华永道(P....
发表于 2020-01-15 11:27 64次阅读
人工智能技术赋能传媒行业,实现流程的再造化

中国使用人工智能技术来改善春运出行体验

据港媒《南华早报》报道,每年农历春节期间,都将有数亿中国人前往全国各地与家人团聚。而今年中国正在使用....
发表于 2020-01-15 11:23 41次阅读
中国使用人工智能技术来改善春运出行体验

像商汤科技这种AI企业关注的都是什么

一个完整的信息系统有五个环节,包括采集、传输、存储、分析计算和反馈。
发表于 2020-01-15 11:18 25次阅读
像商汤科技这种AI企业关注的都是什么

巨头跨越AI商业化的点在哪里

人工智能各细分技术发展态势、产业落地情况及发展前景、全球人工智能领军企业的综合发展实力等。
发表于 2020-01-15 11:14 26次阅读
巨头跨越AI商业化的点在哪里

电信网络具有应用AI技术什么特点

随着计算算力的进步、算法的创新和互联网发展下的海量数据积累,人工智能(AI)技术未来十年将焕发出新的....
发表于 2020-01-15 11:10 21次阅读
电信网络具有应用AI技术什么特点

解读Intel的AI之道

X86处理器问世42年了,已经进入了不惑之年,回头看看它的发展过程,到底都在哪些方面有了质变呢?
发表于 2020-01-15 11:07 189次阅读
解读Intel的AI之道

智能终端AI芯片的发展前景会是怎样的

大多数对神经网络的训练和推理都是在云端或基于服务器完成的。随着终端处理器性能的不断提升,很多人工智能....
发表于 2020-01-15 11:06 20次阅读
智能终端AI芯片的发展前景会是怎样的

人工智能这几个领域的热度相对比较高

随着产业互联网的快速发展,大型科技公司纷纷推出了自己的人工智能平台,所以近几年有很多计算机专业的研究....
发表于 2020-01-15 11:05 95次阅读
人工智能这几个领域的热度相对比较高

人工智能时代,什么行业才是明日之星?

中国各大顶尖高校,也在这二年之间,陆陆续续开设了与人工智能相关的课程或专业,力图在世界科技革新的浪潮....
发表于 2020-01-15 11:00 96次阅读
人工智能时代,什么行业才是明日之星?

人工智能对于中国的经济发展有什么意义

对于企业而言,大数据与云计算的结合是未来巨头生态标配。
发表于 2020-01-15 10:59 36次阅读
人工智能对于中国的经济发展有什么意义

人工智能赋能传媒技术,实现流程再造

随着5G时代的到来,内容供给,尤其是视音频内容的供给实现了智能化。5月,《人民日报》也推出了自己的人....
发表于 2020-01-15 10:55 135次阅读
人工智能赋能传媒技术,实现流程再造

内置NPU的Orange Pi 4B,你怎么看

提起单板电脑,树莓派基金会发布的树莓派系列开发板或许是最广为人知的,该公司坚持使用博通的SOC芯片,以实现不断...
发表于 2019-12-23 21:07 466次阅读
内置NPU的Orange Pi 4B,你怎么看

串口屏应用案例-自助点餐系统

串口屏应用案例-自助点餐系统 自助点餐系统应景而生,彻底打破了传统,能够有效的减少排队使用的时间。在自助点餐机器...
发表于 2019-12-23 13:15 218次阅读
串口屏应用案例-自助点餐系统

【征文福利帖】真香!AliOS派送订制开发板,你不来看一下吗?

AIoT领域技术栈跨度大,工程化过程中碎片场景多,整个产业亟需大量优秀的开发者和专业人员,产业的思考、技术的实践...
发表于 2019-12-20 09:28 948次阅读
【征文福利帖】真香!AliOS派送订制开发板,你不来看一下吗?

一文读懂WMS的进阶史

双十一高效配送的背后离不开各类物流系统的支持,WMS系统作为仓配中心的“智慧大脑”在其中发挥着重要作用。让我...
发表于 2019-12-06 11:44 373次阅读
一文读懂WMS的进阶史

【转载】如何从零入门人工智能(AI)具体学习步骤和方法

手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+开发板)详情链接: 上次我们讲到人工智能的...
发表于 2019-11-28 16:20 362次阅读
【转载】如何从零入门人工智能(AI)具体学习步骤和方法

史上最全AI人工智能入门+进阶学习视频全集(200G)【免费领取】

近几年来,人工智能(AI)概念很火热,几乎人人都在学习人工智能,AI市场人才的抢夺也非常的激烈。根据百科的解释...
发表于 2019-11-27 12:10 779次阅读
史上最全AI人工智能入门+进阶学习视频全集(200G)【免费领取】

高焕堂:VR/AR欺骗大脑,AI赋能大脑,两者结合创意无限

高焕堂,台湾VR/AR产业联盟主席、台湾铭传大学《AI潮流下的创新设计思维》课程讲师、台湾科技大学VR技术培训...
发表于 2019-11-26 13:52 10458次阅读
高焕堂:VR/AR欺骗大脑,AI赋能大脑,两者结合创意无限

传感器和人工智能的关系

  谁来阐述一下传感器和人工智能的关系? 手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现+...
发表于 2019-11-25 15:51 376次阅读
传感器和人工智能的关系

5G与人工智能的关系

  谁来阐述一下5G与人工智能的关系? 手把手教你设计人工智能芯片及系统(全阶设计教程+AI芯片FPGA实现...
发表于 2019-11-22 17:08 396次阅读
5G与人工智能的关系

大彩智能屏在美容行业的应用.pdf

大彩智能屏在美容行业的应用:随着用户对显示效果的要求越来越高,传统的数码管已经不能满足客户的要求,智能彩屏显示...
发表于 2019-11-22 16:07 376次阅读
大彩智能屏在美容行业的应用.pdf