0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

关于Python 加速工具的选单

马哥Linux运维 来源:马哥Linux运维 2023-07-07 11:19 次阅读

这篇文章会提供一些优化代码的工具。会让代码变得更简洁,或者更迅速。


当然这些并不能代替算法设计,但是还是能让 Python 加速很多倍。


这篇文章主要讲优化单处理器的代码,下面会介绍一些一些高效的函数实现,也有已经封装好的拓展模块,还包括速度更快的 Python 解释器。


当然多处理器版本确实能大幅提高运行效率。如果想了解多核编程,可以从multiprocessing 模块开始。而且也能找到非常多的关于分布式计算的第三方工具。这里可以看一下 Python wiki 上的关于 Parallel Processing 的内容。


接下来,会说一些关于Python 加速工具的选单。

NumPy、SciPy、Sage 和 Pandas

先说 NumPy,它的核心是一个多维数字数组的实现。除了这个数据结构之外,还实现了若干个函数和运算符,可以高效地进行数组运算。并且对于被调用的次数进行了精简。它可以被用来进行极其高效的数学运算。

SciPy 和 Sage 都将 NumPy 内置为自身的一部分,同时内置了其他的不同的工具,从而可以用于特定科学、数学和高性能计算的模块。

Pandas 是一个侧重于数据分析的工具。如果处理大量半结构化数据的时候,可能也会用到 Pandas 相关的工具,比如 Blaze。

PyPy、Pyston、Parakeet、Psyco 和 Unladen Swallow

让代码运行的更快,侵入性最小的就是使用实时编译器(JIT 编译)。以前的话我们可以直接安装 Psyco。安装之后导入 psyco,然后调用 psyco.full()。代码运行速度就可以明显提升。运行 Python 代码的时候,它可以实时监控程序,会将一部分代码编译为了机器码。


现在好多 Psyco 等加速器的项目已经停止维护了,不过类似的功能在 PyPy 中得到了继承。
PyPy 为了方便分析、优化和翻译,用 Python 语言将 Python 重新实现了一遍,这样就可以 JIT 编译。而且 PyPy 可以直接将代码翻译成像 C 那样的性能更高的语言。


Unladen Swallow 是一个 Python 的 JIT 编译器。是 Python 解释器的一本版本,被称为底层虚拟机(LLVM)。不过这个开发已经停止了。


Pyston 是一个与 LLVM 平台较为接近的 Python 的 JIT 编译器。很多时候已经优于 Python 的实现,但不过还有很多地方不完善。

GPULib、PyStream、PyCUDA 和 PyOpenCL、

这四个都是用在图像处理单元来实现代码的加速。前面讲的都是用代码优化来实现加速的。而这些都是硬件层面上进行加速,如果有一个强大的 GPU,我们可以用 GPU 来计算,从而减少 CPU 宝贵的资源。


PyStream 古老一点。GPULib 提供了基于 GPU 的各种形式的数据计算。


如果用 GPU 加速自己的代码,可以用 PyCUDA 和 PyOpenCL。

Pyrex、Cython、Numba 和 Shedskin、

这四个项目都致力于将 Python 代码翻译为 C、C++和 LLVM 的代码。Shedskin 会将代码编译为 C++语言。Pyrex、Cython 编译的主要目标是 C 语言。Cython 也是 Pyrex 的一个分支。


而且,Cython 还有 NumPy 数组的额外支持。


如果面向数组和数学计算的时候,Numba 是更好的选择导入时会自动生成相应的 LLVM 的代码。升级版本是 NumbaPro,还提供了对 GPU 的支持。

SWIG、F2PY、Boost.Python

这些工具可以将其他的语言封装为 Python 的模块。第一个可以封装 C/C++语言。F2PY 可以封装 Fortran。Boost.Python 可以封装 C++语言


SUIG 只要启动一个命令行工具,往里面输入 C 或者 C++的头文件,封装器代码就会自动生成。除了 Python,而且可以成为其他语言的封装器,比如 Java 和 PHP。

ctypes、llvm-py 和 CorePy2

这些模块可以帮助我们实现Python 底层对象的操作。ctypes 模块可以用于在内存中构建编译 C 的对象。并且调用共享库中的 C 的函数。不过 ctypes 已经包含在 Python 的标准库里面了。


llvm-py 主要提供LLVM 的 Python 接口。以便于构建代码,然后编译他们。也可以在 Python 中构建它的编译器。当然搞出自己编程语言也是可以的。
CorePy2 也可以进行加速,不过这个加速是运行在汇编的。

Weave、Cinpy 和 PyInline

这三个包,就可以让我们在 Python 代码中直接使用 C 语言或者其他的高级语言。混合代码,依然可以保持整洁。可以使用 Python 代码的字符串的多行特性,可以使其他的代码按照自身的风格来进行排版。

其他工具

如果我们要节省内存,就不能使用 JIT 了。一般 JIT 都太耗费内存。有一句话说的很对,时间和内存经常不能兼得,而我们在工程开发中,总是要寻找他们的平衡点
至于其他的一些东西,比如 Micro Python 项目,这个是用在嵌入式设备或者微控制器上面使用的。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 函数
    +关注

    关注

    3

    文章

    3911

    浏览量

    61313
  • 代码
    +关注

    关注

    30

    文章

    4557

    浏览量

    66832
  • python
    +关注

    关注

    51

    文章

    4678

    浏览量

    83479
收藏 人收藏

    评论

    相关推荐

    Python命令补全工具argcomplete简介

    在使用Python 命令或者 Python的命令行工具的时候,一个痛点是没有补全。比如python -m后面输入包名字,就没有提示,每次想运行一个http server的时候,都需要搜
    发表于 07-04 10:19 355次阅读

    python开发工具推荐

    Python开发软件可根据其用途不同分为两种,一种是Python代码编辑器,一种是Python集成开发工具,两者的配合使用可以极大的提高Python
    发表于 04-12 16:12

    python开发工具推荐

    来使用。如果你掌握了上述三种python工具,相信你的代码效率会提升,如果您想更深入的学习Python可以报名参加老男孩教育Python培训班,带您探索
    发表于 04-23 17:55

    专业python web编程工具

    PythonWeb应用程序、工具的鼻祖,是Python家族一个强有力的分支。Zope 2的“对象发布”系统非常适合面向对象开发方法,并且可以减轻开发者的学习曲线,还可以帮助你发现应用程序里一些不好的功能。3.
    发表于 06-12 16:23

    关于Python编程入门系列教程》说明及教程汇总

    成为了我们了解人工智能的首选编程软件。二、关于教程本教程以纯软件的编程为主,并不涉及任何的硬件部分。程序编写部分以Mind+软件中的“Python 模式”为开发工具(自带基于Python
    发表于 06-23 10:10

    LabVIEW+Python+openCV

    现在网上一般关于LabVIEW做视觉常规会用到NI Vision工具包,以及openCV的动态链接库,实现LabVIEW调用openCV的功能,但是NI Vision工具包除非破解,正版要烧钱
    发表于 12-07 20:59

    加载速度提升 15%,关于 Python 启动加速探索与实践的解析 | 龙蜥技术

    编者按: 在刚刚结束的 PyCon China 2022 大会上,龙蜥社区开发者严懿宸分享了主题为《Python 启动加速的探索与实践》的技术演讲。本次演讲,作者将从 CPython 社区相关工作
    发表于 12-23 15:59

    如何使用Python包装器正确构建OpenVINO工具套件

    要将 Python* 与 Linux* 版开源 OpenVINO™工具套 件一同使用,您必须安装 Python* 3.5 或更高版本,然后再在 CMake 命令行中指定正确的 Python
    发表于 08-15 07:13

    关于8个流行的Python可视化工具

    喜欢用 Python 做项目的小伙伴不免会遇到这种情况:做图表时,用哪种好看又实用的可视化工具包呢?之前文章里出现过漂亮的图表时,也总有读者在后台留言问该图表时用什么工具做的。
    的头像 发表于 05-05 09:02 3150次阅读
    <b class='flag-5'>关于</b>8个流行的<b class='flag-5'>Python</b>可视化<b class='flag-5'>工具</b>包

    四个有趣的关于Python 3.9版本新特性

    四个有趣的关于Python 3.9版本新特性
    的头像 发表于 10-08 14:47 2860次阅读
    四个有趣的<b class='flag-5'>关于</b><b class='flag-5'>Python</b> 3.9版本新特性

    Python 代码加速运行的的小技巧

    Python 是一种脚本语言,相比 C/C++ 这样的编译语言,在效率和性能方面存在一些不足。但是,有很多时候,Python 的效率并没有想象中的那么夸张。本文对一些 Python 代码加速
    的头像 发表于 09-01 11:28 1507次阅读

    Python写个小工具网页

    简简单单的用 Python 撸一个计算年龄的工具网页,不用对前端特别熟悉,只要专注于工具的逻辑,其他都交给 Python 吧。
    的头像 发表于 03-03 14:52 840次阅读
    用<b class='flag-5'>Python</b>写个小<b class='flag-5'>工具</b>网页

    如何安装Python包管理工具

    第三方库,Python提供了一些强大的包管理工具。本文将介绍如何安装Python包管理工具,以便您能够在Python项目中方便地管理和使用第
    的头像 发表于 04-14 12:10 787次阅读

    优化Python代码有哪些工具

    Python是一种强大的编程语言,但在面对复杂项目和紧迫的时间要求时,提高Python的使用效率变得至关重要。为此,以下是详细介绍十大工具,它们可以帮助您加速开发流程、提高编程体验并优
    的头像 发表于 07-24 09:28 889次阅读

    关于两个Python开源识别工具的效果

    回复希望出一篇 OCR 相关的文章,今天尝试了一下 cnocr 和 tesseract 两个 Python 开源识别工具的效果,给大家分别讲讲两个工具的使用方法和对比效果。 1.准备 开始之前,你要确保
    的头像 发表于 10-17 11:36 272次阅读
    <b class='flag-5'>关于</b>两个<b class='flag-5'>Python</b>开源识别<b class='flag-5'>工具</b>的效果