0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GIL在CPython解释器中的工作原理是什么?

FPGA之家 来源:编程技术宇宙 作者:轩辕之风 2021-03-22 10:01 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

我是一个Python线程,我的工作就是解释执行程序员编写的Python代码。

之所以说是解释执行,是因为Python是高级语言,CPU那家伙不认识Python代码,需要运行的时候动态翻译成CPU指令。

我把Python源代码经过“编译”以后,变成了一个个的字节码文件:.pyc,这是一个二进制的文件,人类是看不懂的,只有我才能看懂。

然后我的工作就简单了,不断的取出字节码文件中的“指令”解释执行,直到所有指令都执行完成,我就可以休息了。

GIL

后来,多线程编程技术流行了起来,进程里不止我一个线程了,又来了几个新的伙伴。

本以为我们能和平共处,没想到这一来就麻烦了,我们几个各干各的,经常把内存空间搞出问题,也找不到背锅的人。

终于有一天,我实在忍受不了了,召集大家商讨个解决办法。

“小伙伴们,咱们不能再这样各搞各的了,咱们是一个Team,要彼此协作,一个线程可以走的很快,但一群线程在一起才能走的更远呐!”

“老大,你有什么想法你就直说吧”,另一个线程说到。

“要不,咱们加个锁吧!简单快捷,每个线程要执行代码,都得来申请这个锁,申请到了才能执行,否则就得等着”,我说到。

“那什么时候释放呢?”

“要不弄个计数器,每个线程数到100就释放,这样保证别人有机会来执行?”

“那怎么计数呢?每执行一个字节码就计数一次吗?”

“可以,不过也不用那么死板,有些指令比较简单的,很快可以完成,就可以不用计数了”

“好是好,但要是还没数够100,却在执行I/O操作阻塞了,还把锁霸占的话,那不是资源浪费吗?”

小伙伴们七嘴八舌的讨论着。

98cd1d28-8924-11eb-8b86-12bb97331649.png

我想了想说到:“那就这样,把两种情况结合一下,常规情况下数到100就释放一次锁,但如果遇到阻塞情况,也要提前释放锁,怎么样?”

大伙纷纷点头,达成了一致,随后我们还给这个锁取了一个名字:全局解释器锁GIL。

自从用上了GIL,我们大家伙干活都规矩多了,再也没有出现把公共资源搞坏的情况了。

升级版GIL

再后来,多核技术开始兴起了,一个CPU里面可以同时执行多个线程。小伙伴们高兴地把这个消息散播开了。

“老大,现在CPU有多核了,咱们可以一起执行了,可不可以把那个GIL给去掉啊,这样才能利用多核的优势啊。”

“是啊,隔壁Java线程老是嘲笑我们看起来人多,实际只有一个线程在执行”

可说易行难,这么多年我们都是这样工作的,要突然去掉,出了问题谁也不敢负责啊。

“可是老大,现在这个GIL锁不公平”,新来的线程抱怨到。

“哪里不公平了?”

“我准备执行代码,发现锁在你的手里,只好原地等待,等了半天都睡着了,好不容易等到你释放了,操作系统把我给唤醒,准备去申请锁,结果发现又被你抢到了,真是浪费表情”,新的线程满脸委屈。

“是啊,老大,我也发现了,这不是偶发现象,我观察很久了,经常都会发生!频繁被唤醒,却发现白忙活一场,白白浪费CPU资源,大家都怨气很大啊”,另一个线程伙伴也说到。

我有些不好意思,“嗯,这确实是个问题”

“还没完呢”,新来的线程继续说到:“现在按照字节码指令数来统计,但有些指令码简单,有些很复杂,导致同样数到100,有些线程可以运行很久,而有些就运行很快就结束了,也不公平”

小伙伴们提的问题都很重要,看来是时候对GIL进行一次升级了。

经过一阵激烈的讨论,我们改进了原来对GIL,用上了新的策略:

不再用计数的方式,改用时间片的方式:每个线程的执行时间片是5000微秒。

为了保证释放GIL后,不被自己马上又抢到,新增了一个锁实现强制线程切换

改进以后,这下总算公平了,各位小伙伴再也没有话说,又可以安心的工作了。

结语

Python是一门解释执行的语言,拥有强大的第三方库和跨平台能力,近几年Python焕发了第二春,横扫爬虫、web开发、机器学习等众多领域。

但长期以来,Python最为人诟病的就是它有一把锁:GIL,这把锁让Python无法真正的实现多线程执行,无法利用多核CPU的高性能。

实际上,这个锁跟Python没有半毛钱的关系,而是负责解释执行Python的解释器:CPython的锅。

CPython是用C语言编写的Python解释器,也是最广为使用的Python解释器,一般在没有特殊说明时,说Python指的就是这个CPython解释器。

Python诞生之初,多线程技术还远没有今天这么深入人心,甚至多核CPU也是Python诞生许多年后才出现的。早期的解释器中为了支持多个线程,使用了粗暴的GIL来进行控制,方便简单的同时,也成为了CPython的巨大历史包袱。

Python3.2之前,Python使用简单的计数法来统计控制每个线程执行的时间。在这之后,引入了更为公平的时间片方式来升级替换。

过去二十年,曾经有许许多多大牛都尝试彻底去除GIL,但都没有完美成功。

虽然Python没能彻底去除GIL,好在,提供了其他几种方式“曲线救国”实现并发:

Ctypes通过编写C语言扩展与Python交互,在C语言层面绕过GIL实现多核利用。

MultiProcessPython提供了MultiProcess,通过多进程的方式绕过GIL

协程协程又称用户态线程,Python3.4版本后新增了对协程的支持,也是对性能的提升提供了一种选择。

这篇文章用第一人称大白话的方式讲述了GIL在CPython解释器中的工作原理,大家都理解了吗?欢迎留言交流~

原文标题:天啦噜!Python多线程居然是骗人的?

文章出处:【微信公众号:FPGA之家】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • python
    +关注

    关注

    58

    文章

    4884

    浏览量

    90299

原文标题:天啦噜!Python多线程居然是骗人的?

文章出处:【微信号:zhuyandz,微信公众号:FPGA之家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    433M无线模块的工作原理和距离

    一、工作原理  433MHz无线模块的工作原理是通过发射和接收之间的模拟信号进行无线通信。具体来说,它由发射和接收
    发表于 04-10 14:44

    三相电源防雷的作用、工作原理及实际应用的考虑因素

    ,作为电力防护体系的关键组件,承担着保护三相交流电源系统免受雷电侵袭的重任。本文将深入探讨三相电源防雷的作用、工作原理及其现代防雷技术
    的头像 发表于 11-26 13:42 700次阅读

    信号发生的构成和工作原理

    信号发生作为现代电子测试与测量领域中的关键设备,其精密的构造和巧妙的工作原理使之能够产生各种所需的电信号。本文将深入探讨信号发生的构成及其工作原理,以帮助读者更好地理解这一重要电子
    的头像 发表于 11-13 11:45 551次阅读
    信号发生<b class='flag-5'>器</b>的构成和<b class='flag-5'>工作原理</b>

    冲击传感工作原理和应用领域详解

    离不开冲击传感。冲击传感工作原理:冲击传感(又称冲击加速度计)是一种测量瞬时加速度或冲击力的设备,主要基于以下工作原理:1.压电效应:
    的头像 发表于 10-24 12:02 738次阅读
    冲击传感<b class='flag-5'>器</b><b class='flag-5'>工作原理</b>和应用领域详解

    增量式编码工作原理是什么?

    增量式编码工作原理是什么?增量式编码是一种通过输出脉冲信号来反映旋转位置变化的传感,广泛应用于电机测速、位置控制等领域。其工作原理可从
    的头像 发表于 09-29 11:00 2495次阅读
    增量式编码<b class='flag-5'>器</b><b class='flag-5'>工作原理</b>是什么?

    PTC热敏电阻储能系统的应用及工作原理深度解析

    PTC热敏电阻储能系统的应用及工作原理深度解析 一、PTC热敏电阻核心特性 PTC(Positive Temperature Coefficient Thermistor)是一种典型的非线性热敏
    发表于 09-02 14:23

    鄂电 GIL/GIS 故障定位超声传感:如何实现故障精准定位

    电力系统GIL(气体绝缘金属封闭输电线路)与 GIS(气体绝缘金属封闭开关设备)是保障高压电传输的核心设备,其内部一旦出现绝缘缺陷、金属微粒、局部放电等故障,若无法精准定位,可能导致设备爆炸
    的头像 发表于 08-28 10:48 1094次阅读
    鄂电 <b class='flag-5'>GIL</b>/GIS 故障定位超声传感<b class='flag-5'>器</b>:如何实现故障精准定位

    三相稳压工作原理工作流程及应用场景

    三相稳压作为一种稳定电压的关键设备,工业、商业以及家庭场景中都有着极为广泛的应用。它能够精准调节电网电压的波动,让设备始终稳定的电压环境运行,有效避免因电压起伏而对设备造成损害
    的头像 发表于 07-21 10:10 1594次阅读

    烟气检测仪是如何工作的?工作原理大揭秘

    如何工作的呢? 烟气检测仪的工作原理基于多种检测技术,常见的有电化学传感技术、红外吸收技术等。 电化学传感技术是一种应用广泛的检测方法。其核心是电化学传感
    发表于 06-16 16:10

    电压传感是什么?工作原理是哪样

    传感广泛应用于电力系统、工业自动化、电子设备测试、新能源汽车等领域,用于监测电压变化、保护电路安全、优化系统性能等。 电压传感工作原理 电压传感
    的头像 发表于 06-13 18:00 3475次阅读

    FLASH的工作原理与应用

    的性能,即使断电的情况下也能保持数据不丢失。Flash存储的读取速度非常快,适合用于频繁读取数据的应用场景。它的工作原理是通过控制电子半导体材料中的移动来存储
    的头像 发表于 05-27 13:10 2382次阅读
    FLASH的<b class='flag-5'>工作原理</b>与应用

    GPIO配置的工作原理是什么?

    我使用 EZ-USB 配置实用程序,我想知道是否有人知道 GPIO 配置的工作原理。 例如,GPIO0 可以用作传感复位,我知道这个 GPIO0 用于重置传感,但我不明白的是选项用户 GPIO 例如GPIO 1可以是Use
    发表于 05-19 06:56

    水质常规五参数探头工作原理

    水环境监测领域,水质常规五参数(pH、溶解氧、电导率、浊度、温度)探头对于准确把握水质状况意义重大。本文以DX-W100-1在线多参数水质传感为例,深入剖析这些参数探头的工作原理。一、pH探头
    的头像 发表于 05-13 17:07 1618次阅读
    水质常规五参数探头<b class='flag-5'>工作原理</b>

    电动调压工作原理

    电压调压是一种用于控制电路电压的装置,其工作原理因类型而异,以下是几种常见电压调压工作原理
    的头像 发表于 05-12 13:46 1616次阅读
    电动调压<b class='flag-5'>器</b>的<b class='flag-5'>工作原理</b>

    水深传感分类及工作原理

    水深传感众多领域发挥着关键作用,如水利监测、海洋研究、工业生产以及环保工作等,它们能够精准地测量水体深度,为相关决策提供重要数据支持。目前市面上常见的水深传感主要有压力水位计、雷
    的头像 发表于 04-28 17:32 1780次阅读
    水深传感<b class='flag-5'>器</b>分类及<b class='flag-5'>工作原理</b>