0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

python性能之服务优化的方法解析

马哥Linux运维 2017-12-31 01:04 次阅读

初看这个标题,相信很多同学都笑了,python有性能可言么,呵呵哒...确实哦,python其实就是为了快速开发应用而出生的,虽然python的服务都以性能低而闻名全世界,但是总该有优化的地方吧,呵呵哒....

这不,这两天本作者就碰见了这样一个问题,首先自我介绍下,我是干嘛的,肯定是屌丝程序员了,这个猜都不用猜,要不然也不会蛋疼的写这篇文章了,我们组是基础开发组,就是专门开发一些剥离业务的组件让其他部门去用,比如业务监控,业务报警,服务数据采集等等一堆搬砖的活.好了,废话不多说了,估计看到这的也都看烦了...你们真的烦了么

这样滴,我们这有个收集业务数据的组件简称M好啦,首先他要在业务服务器上建个udpserver,然后就静静的等业务的客户端上报数据过来,数据格式是key-value形式的,然而就在最近几天,有人在给业务机器做压测的时候,发现一个问题,随着并发的增加,这个M组件的cpu使用率也在不断上升,擦,这下服务器不愿意了,开始疯狂报警,然后做压测的那个人就找我这来了,巴拉巴拉一堆,意思就是我给业务做压测,你收集数据的组件飚个毛啊......

然而我是那么容易被打倒的么,就解释说当然啊,你在给业务压测的时候,同时你的client也在请求我啊,相当于我的并发量也在上升啊,不飚才怪呢,好吧,说归说,抱着工匠精神,开始找问题吧...

这个M组件是用python写的多线程的udpserver,经本人测试,当并发达到2000的时候,cpu就100%左右了,其实udp相比tcp而言性能已经很高了,不过这个并发还是有点感人啊,改成多进程也试了下,cpu占用还是70%左右,毕竟多进程适用计算密集型的,于是就想到了协程,协程像是一种在程序级别来模拟系统级别 的进程,由于是单进程,并且少了上下文切换,于是相对来说系统消耗很少,而网上的各种测试也表明,协程确实拥有惊人的速度。并且在实现过程中,协程可以 用以前同步思路的写法,而运行起来确是异步的,挺有意思。

听说python有个模块叫做eventlet很强大,eventlet的核心是协程(也叫做green thread)。协程的好处是没有线程开销来的大(比如切换代价很小)。同时协程由于调度都由开发者自己决定,所以对lock的需求就很低了

010F5O38-0.png

上面是一个uds(unix domian socket)的例子,这里也是通过一个pool限制资源的使用。当每个请求来的时候通过spawn_n方法把对这个请求的handle方法放到独立的协程中去处理。而handle中的recv这些方法都是被绿化过的,所以如果读取不到数据这些方法就会把cpu时间交出来给别的协程使用,eventlet还有一个衍生品gevent,先看看例子:

010F55c7-1.png

上面是官方的例子,gevent是一个基于libev的python并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.而且其中有个monkey类, 将现有基于Python线程直接转化为greenlet(类似于打patch)。

我自己测试了下,无论是eventlet写的uds还是gevent写的udpserver 并发达到2000时,cpu大概占用到30%左右,性能比之前降了2/3,效果还是很显著的,不过这个还是没有达到理想效果,后期准备尝试下日志的方式,应该会比现在更省资源,就怕磁盘受不了,更何况我们用的还是所谓的云主机~

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 优化
    +关注

    关注

    0

    文章

    220

    浏览量

    23702
  • python
    +关注

    关注

    51

    文章

    4657

    浏览量

    83379

原文标题:榨干python性能之服务优化

文章出处:【微信号:magedu-Linux,微信公众号:马哥Linux运维】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    python中如何交换两个数的值相加

    数的值,并对其应用进行详细解析。 一、变量交换原理解析 传统方式 在Python中,交换两个数的值通常可以使用一个临时变量进行操作。假设有变量a和b,要实现交换,可以通过如下代码实现: temp = a a = b b = te
    的头像 发表于 11-29 17:29 312次阅读

    查看python安装路径的方法

    如何查看Python安装路径,以及各个操作系统下的细节和注意事项。 一、Windows操作系统下查看Python安装路径的方法 对于Windows操作系统,有多种方法可以查看
    的头像 发表于 11-29 14:54 887次阅读

    运行Python程序的几种常见方法

    Python是一种高级编程语言,具有简单易学,易于阅读和调试的特点。当你完成了一个Python程序之后,你需要运行它以检查程序是否按照预期工作。下面是运行Python程序的几种常见方法
    的头像 发表于 11-28 15:32 405次阅读

    差动放大器的性能优化方法

    电子发烧友网站提供《差动放大器的性能优化方法.pdf》资料免费下载
    发表于 11-23 14:32 0次下载
    差动放大器的<b class='flag-5'>性能</b><b class='flag-5'>优化</b><b class='flag-5'>方法</b>

    MySQL性能优化方法

    MySQL 性能优化是一项关键的任务,可以提高数据库的运行速度和效率。以下是一些优化方法,包括具体代码和详细优化方案。
    的头像 发表于 11-22 09:59 244次阅读

    如何应用Python解决5个常见运维问题?

    解析日志文件并提取有用信息是运维工程师经常要进行的任务之一。使用 Python 脚本可以方便地实现这一操作。 在 Python 中,可以使用第三方库 regex 来解析日志文件。reg
    发表于 11-02 10:06 137次阅读

    使用Rust优化Python性能

    在数据分析领域Python无疑是最流行的编程语言,但是Python有一个硬伤就是作为一个编译语言在性能上有些微的欠缺。而同样最流行的语言Rust则在性能方面表现优秀。本文我们一起学习一
    的头像 发表于 11-01 15:59 417次阅读
    使用Rust<b class='flag-5'>优化</b><b class='flag-5'>Python</b><b class='flag-5'>性能</b>

    TSMaster小功能—Python小程序如何导入外部库

    今天给大家介绍TSMaster功能之Python小程序如何导入外部库。通过在TSMaster默认的解析器路径下导入外部库来介绍,以便我们去使用Python外部库。TSMaster默认Pytho
    的头像 发表于 08-14 10:06 644次阅读
    TSMaster小功能—<b class='flag-5'>Python</b>小程序如何导入外部库

    优化Python代码有哪些工具

    Python是一种强大的编程语言,但在面对复杂项目和紧迫的时间要求时,提高Python的使用效率变得至关重要。为此,以下是详细介绍十大工具,它们可以帮助您加速开发流程、提高编程体验并优化Pyt
    的头像 发表于 07-24 09:28 796次阅读

    动态库封装成python模块的方法

    之前的文章 将静态库封装成 python 模块中讲解了如何将静态库封装成 python 模块,静态库封装相对来说还是有点复杂,今天来介绍下动态库封装成 python 模块的方法
    发表于 07-13 15:24 367次阅读

    学会这7个优化晶振性能方法,让你的经验值蹭蹭up

    晶振是目前电路设备上常见的一种元器件,在5G应用领域,晶振也是必不可少的一个元器件,万物互联都需要高精度高精准的信号连接,因此晶振的运行稳定对整个电路的性能有着至关重要的角色,如何高效优化晶振性能也是我们工程师必须get到的重要
    的头像 发表于 05-25 10:42 962次阅读

    介绍Python中文件创建与写入的基本方法

    Python 文件写入和创建是 Python 开发中必须掌握的技能之一。在本文中,我们将介绍 Python 中文件创建与写入的基本方法
    的头像 发表于 04-27 09:22 2798次阅读

    《现代CPU性能分析与优化》--读书心得笔记

    。 第11章讨论多线程应用程序的性能分析技巧,概要地描述多线程应用程序性能优化所要 在第一部分里介绍了与性能分析相关的内容比如性能测量
    发表于 04-24 15:31

    《现代CPU性能分析与优化》---精简的优化

    《现代CPU性能分析与优化》是一本非常实用的书籍,对于从事性能关键型应用程序开发和进行系统底层优化的技术人员来说是不可或缺的。这本书也很适合任何想更好地了解应用程序
    发表于 04-18 16:03

    如何安装Python解释器

    安装Python解释器是搭建Python编程环境的第一步。Python解释器是Python编程语言的核心组件,负责解析和执行
    的头像 发表于 04-14 12:08 4750次阅读