0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Julia可用于分析和解决计算科学问题的高性能工具

电子工程师 来源:lq 2019-01-18 16:01 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

Julia 编程语言创建者之一 Viral Shah 博士,确认参加 EmTech China 2019 全球新兴科技峰会。

科技不仅仅是一个时代的标签,它所引导的产业变革更是在雕刻这个时代。从实验室到产业,从生产线到每个用户,越来越短的产业化路径和越来越快的迭代速度,将我们与新兴科技紧密相连。无论是市场寒冬或是创业燃点,我们现在都需要拨开迷雾厘清真相,需要对科技未来发展趋势有一个精准的判断。所以,我们在 2019 年开年为您准备了 EmTech China 这份名单,而您,只需要坐下来,听这些全球最权威的人讲最重要的事。

2018 年 8 月初,随着的 1.0 版本发布的消息确认,一门名为“Julia”的高性能动态编程语言一夜之间刷爆了朋友圈和 GitHub。2018 年 12 月,Julia 的创始团队被授予 James H. Wilkinson Prize,对他们创建 Julia这一可用于分析和解决计算科学问题的高性能工具,加以表彰。

图 | Julia 语言的团队部分成员即获奖人(来源:MIT News)

这个编程语言的新版本之所以受到整个人工智能界的关注,最主要的原因正是其将 C 语言的速度、Ruby 的灵活、Python 的通用性前所未有地结合在一起,支持并行处理,易于学习和使用,尤其适合科学和工程计算。

更早之前,在今年 TOIBE 8 月份编程语言排行榜上,Julia 已迅速攀升至第 50 名。根据 Julia 开发团队的说法,在七项基础算法的测试中,Julia 比 Python 快 20 倍,比 R 快 100 倍,比 Matlab 快 93 倍。也有越来越多的人相信,Julia 会成为未来的主流编程语言。

图丨在过去的三个月中,Julia 在 RedMonk 的排名中上升了三位,排名第 36 位(来源:RedMonk)

Julia 的崛起,与目前编程语言发展遭遇的瓶颈息息相关:随着人工智能尤其是机器学习的兴起,现实世界对计算的速度及性能要求也越来越高,不同的编程语言由于自身的局限性难以兼顾,例如说,在 Julia 诞生之前,很多人不得不把同样的程序进行多次处理:首先使用 Python 或 R 这样的语言来开发一种算法,并通过这些语言制作图表,然后再用 C++Java 改写程序,以获得更好的计算机处理性能。

突破这种瓶颈无疑有两个方向,一是基于现有编程语言进行优化,二是“将革命进行到底”——专门开发一门新语言。后者自然成本更高。

Julia 的开发人员显然选择了后者,而且他们的野心不小:Julia 被专门设计为用于快速运行基础数学,这正是大多数数据科学的基础,如矩阵表达式和线性代数。

它的诞生可追溯到 2009 年。当时,正是基于对现有编程语言的“不满”,麻省理工学院启动了一个新型编程语言开发计划,到了 2012 年的时候,这个计划有了初步的成果,也就是如今的 Julia。

图 | 麻省理工学院 Julia 实验室(来源:Julia 实验室官网)

具体而言,Julia 项目由麻省理工学院教授Alan Edelman领导,另外几位关键创造者则包括Jeff Bezanson(“Julia”名字来自于 Bezanson 的一个旧项目)、Stefan Karpinski 和 Viral Shah。其大部分关键发展成果都来自麻省理工学院的 Julia 实验室,也有超过 700 名志愿者参与了 1.0 版本的制作。

“我们想开发一种开源的编程语言,我们希望这门语言有 C 语言一样的速度、R 语言一样的灵活性,有同像性(homoiconicity), 有像 Lisp 语言那样拥有真正的宏特性,但是也像 Matlab 一样有易于理解、被人所熟悉的数学标记。我们希望它像 Python 一样易用,像 R 语言一样适用于统计,像 Perl 一样适用于字符串处理,处理线性代数像 Matlab 一样强大,像 DOS 命令一样擅长粘合程序。这似乎看起来简单易学,但是想要让黑客乐意去迎合它却不是简单之事。我们希望它具有互动性且能够被编译”,在《Why we created Julia》这篇文章中,Julia 团队如此解释他们开发这个语言的初衷。

图丨Viral Shah(来源:DT 君)

Viral Shah 也曾经表示:“如果你是一名数学家、科学家或者工程师,你可以选择一种速度快的语言,比如 C++或 Java,又或是任意一种容易学习的语言,比如 Matlab,R,或 Python,所以我们创造了 Julia 这种又快又便捷的语言。”如今,他已经成为 Julia Computing 公司的 CEO,该公司致力于帮助其他公司使用 Julia 语言。

当然,Julia 的问世,除了让人感慨 IT 行业发展之快、推陈出新之迅猛,另一方面也向所有人提出了一个新的问题:我究竟要不要学习这门新语言。这个问题将非常重要,就像 Y-Combinator 的联合创始人 Paul Graham 所说的,“当你可以选择你要用的编程语言时,不使用最强的那一种将是一个错误”。

近日,DT 君独家采访了上文提到的 Julia 开发团队的四位创始人员。Julia 能否成为主流编程语言,以及它是否值得学习,许多关于 Julia 的疑问,或许你能从创始团队的回答中找到答案。

图丨Alan Edelman(来源:麻省理工学院官网)

一、在团队看来,Julia 语言的核心创新点是什么?

开发一种基于多分派(Multiple dispatch)的语言。在最初的一段时间里,我们并不 100% 清楚怎么做。多方法和外部调度看起来很酷,但我们不清楚它们有多么有用和强大。

重视多分派特性改变了我们编程语言的编程方式。这是一件很奇怪的事情,因为当人们问“多重调度有什么了不起?”时,很难具体回答有什么特别的地方,但是一旦你习惯了这种特性,就很难回头了。

除了高性能,Julia 还有一些与众不同的特性。例如,Julia 能够访问异常广泛的编程堆栈。你可以以良好的性能操作比特和字节(并查看汇编代码),同时也可以处理高阶函数、设计宏定义、进行面向对象编程,所有这一切都可以很好地融合在一起。剥离这些层也很容易。为完成不同任务,人们经常需要转换语言。Julia 程序员对不同的任务或许使用的技术和样式不同,但完全可以使用相同的语言(即 Julia)。

二、在 Julia 的开发过程中,哪一部分投入的精力最多?有什么遵循的标准吗?

设计并搞清楚内部的工作原理总是最花时间的。

开发好的编程语言的关键是设计一组简单、强大的原语,能够很好地执行,然后根据这些原语定义所需的大部分功能。在语言开发的早期,添加许多“内置”结构似乎是个好主意,但在编写优化编译器时,这些结构可能会带来很多麻烦。用一种语言本身编写该语言的标准库既有利于性能(从长远来看),也可以提供宝贵的使用语言的经验,这些经验又可以反馈到语言的设计中。当一个函数运行得太慢时,我们会去看检查一下是否可以改进编译器让函数运行得更快。反复如此,我们不仅可以改善这个函数,还可以解决一系列类似的问题。

三、Julia 具体是如何实现同时具备 Python 的简单、C 语言的执行速度、R 语言一样的数据分析库支持?

正如上一个问题,简单性来自于有少量精心选择的原语。自动垃圾收集(一种计算机内存管理手段)对语言的可用性也有很大的贡献,这一点在编程语言领域已经是很久以来的共识了。

为提高速度,我们研究了所有使大多数动态语言变慢的因素,并仔细考虑了哪些因素可以消除。例如,动态语言通常允许数组元素和对象字段保存任何类型的值。然而,研究表明,即使在这些语言中,具有常量类型的同构数组和字段也非常普遍。因此,设计 Julia 利用了这一点,更容易添加类型限制,并在任何可能的情况下默认使用类型统一的集合。

四、Julia 目前宣称和 C 语言一样快。但是否在所有情况下都是这么快?还是只在数据处理的时候和 C 一样快?和目前主流语言如 Python、C 等的兼容性如何?

是的,对于大多数用例,Julia 可以和 C 一样快。不过必须注意避免过度的内存分配,并确保代码是类型稳定的。Julia 提供了各种各样的工具,编程者无需花费太多精力就可以编写高性能的像 C 一样快的代码。

调用 C 和 Fortran 在 Julia 中是本地的——甚至不需要提供编译器。可以运行下面的代码完成调用:

julia> ccall(:clock, Int32, ())

2539697

同样,Cxx.jl 使得调用 C++库、模板等变得非常容易。我们可以通过 PyCall.jl 和 RCall.jl 这样的集成接口调用 Python 和 R。反过来,Python 和 R 通过调用 PyJulia 和 RJulia 包来调用 Julia 语言。JavaCall.jl 可以让 Julia 调用 Java。我们也有一个干净清晰的嵌入编程接口,让任何其他语言都很容易地调用 Julia。

五、从实际应用来说,Julia 已经用于自动驾驶汽车、机器人和 3D 打印机,此外还广泛应用于精准医疗、增强现实、基因组学及风险管理。那么 Julia 语言本身适合什么应用? 团队有没有自己特别看好的一个实际应用方向?为什么?

我们一直致力于构建一种通用语言,这种语言对于所有形式的数学计算都有很好的抽象。因此,看到各种各样领域应用的蓬勃发展比看到任何一个特定应用的蓬勃发展更让我们兴奋。

(来源:Julia 官网)

六、目前 Julia 语言主打科学计算,下载者包括谷歌、Facebook 和美国能源部等各个部门的开发者。未来,Julia 是否会扩展其目标人群,用于更多面向对象程序设计?公布了 1.0 以后,有没有来自一些用户的收获或反馈?

Julia 的目标受众在过去几年里每 9 个月就会翻一番。我们认为,多分派、通用函数和专门化的语言特性是为该语言的用户精心设计的。

Julia 在 GitHub 上已经收到了超过 700 名开发者的贡献。许多人贡献超过 2000 个包。我们估计大约有 30 名核心开发人员对 Julia 语言本身贡献了大量工作。

在用户方面,Julia 的下载量超过 200 万次。作为一种开放源码语言,很难将这个数字转换为真实用户数量。此外,在 Julia Computing 方面,我们看到来自 700 所大学和 1000 多家公司的用户下载或使用了 Julia。Julia1.0 非常受欢迎,语言社区会追求长期稳定,每个人都为此感到兴奋。我们也受到非常多的反馈,有中文的也有英文的。对于 1.0,在考虑添加新特性之前,我们将关注长期稳定性。

七、团队目前对 Julia 在商业项目应用上有何计划?

所有 Julia 的创建者都聚集在一起,形成了遵循开源商业模式的 Julia Computing 公司。Julia Computing 公司的产品已经被成千上万的用户下载,JuliaBox 被广泛用于 Julia 的教学。

此外,Julia Computing 为许多企业提供开发人员和生产支持,并为全球用户提供培训和咨询。

八、用 Julia 写的项目中,哪一个让你们觉得印象最深刻?

最印象深刻的包是以下几个:

用于数学优化研究的 JuMP:

https://github.com/JuliaOpt/JuMP.jl

用于微分方程相关的 DiffEq:

http://juliadiffeq.org/

用于机器学习的 Flux:

http://fluxml.ai/

另一个用于机器学习(深度学习)的 Knet:

https://github.com/denizyuret/Knet.jl

除此之外,这些包也都非常有用:

Revise 包,真的太棒了,Tim Holy 是个天才!:

https://github.com/timholy/Revise.jl

BenchmarkTools,一个测试性能相关的包:https://github.com/JuliaCI/BenchmarkTools.jl

StaticArrays 包,这个包很可能作为标准库:https://github.com/JuliaArrays/StaticArrays.jl

UnicodePlots 包,唯一一个到处都能可靠安装使用的画图的包:https://github.com/Evizero/UnicodePlots.jl

图丨Julia 团队(来源:vccircle)

九、Julia 在中国的开发者中引起了很大的讨论,但有人认为 Julia 本身又没有很强的推广力度,可能很难有公司会将 Julia 使用在商业项目上,对于这种说法团队怎么看?

Julia 是一种“草根”语言,是由真正喜欢开发和使用它的人开发出来的。也许将来一些更大的公司会采用它——但我们认为这不是成功的必要条件。Python、PHP、Perl、Ruby、Lua 等语言都不是由任何组织推动的。至少从目前来说,它是由社区开发的,这也是它能吸引用户的原因。

十、Julia 的野心很大,想要集成多种语言的优点,规避掉这些语言不足的地方。不过一个语言是否值得我们学习,还要看它的学习氛围、市场环境以及具体适用的场景,目前团队认为 Julia 在这些方面还存在哪些不足?现阶段最大的挑战是什么?下一个版本计划将优先解决哪些问题?

近期我们一直在努力的方向是提升编译器的效率。

开发一种具有高度抽象并且能够在各种硬件上工作的快速语言的时机已经成熟。我们将关注当前特性的稳定性,但也会添加新特性。

一个主要考虑的特性是多线程。虽然我们今天已经有了多线程功能,但它还不能以一种每一个库和用户代码都可以并行的方式进行组合(很少有语言有这种情况)。英特尔的 Kiran Pamnany 已经发出了拉取请求(pull request),要求实现这一目标。我们还将关注我们的 GPU 支持、谷歌的 TPU 和各种新硬件。此外,将来还会有相当多的人关注开发工具。

十一、团队心目中最理想的科学计算语言是什么样的?

我们还有很多事情还需要去做。在硬件方面,在最大的超级计算机上工作、在 GPU 上工作对于大型科学应用是必不可少的。机器学习应用程序正在驱动硬件的发展,这将给软件开发人员带来许多挑战。在 ARM 处理器嵌入式硬件上运行 Julia 对于设备部署也是至关重要的,因为机器学习算法在物联网应用程序上也越来越常见了。

多线程目前也是一个尚未解决的问题,对科学用例的可组合性还未能让人满意。这是我们希望在不久的将来解决的问题,设计基于 Cilk 编译器。

Julia 创建者将来华,出席 EmTech China

人们总是希望使用更简单的工具实现越来越复杂的任务,而现在,我们在编程语言方面有了更多的选择,那么要使用哪一种语言处理任务,就交给了各位使用者。但是在此之前,你或许有兴趣亲身聆听 Julia 创建者之一兼 Julia Computing 的 CEO Viral Shah 博士更多的分享。

Viral Shah 博士毕业于加州大学圣塔芭芭拉分校的计算机科学专业,是 Julia 项目的共同创建者之一,也是 Julia Computing 的联合创始人兼 CEO。

他在构建开源软件方面经验颇丰。除了 Julia,他还是 Circuitscape 的作者之一。Circuitscape 是一个开源程序,借用了电子电路理论中的一些算法。

他也曾是印度国家身份证项目 Aadhaar 的早期成员之一,他重新架构了印度的国家社保系统,其所覆盖的社会群体,及其相应的待遇得到明显提高,同时避免了大量的财政流失。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 编程语言
    +关注

    关注

    10

    文章

    1959

    浏览量

    38915
  • 人工智能
    +关注

    关注

    1813

    文章

    49741

    浏览量

    261549
  • python
    +关注

    关注

    57

    文章

    4858

    浏览量

    89586

原文标题:EmTech China | 史上最强科学计算编程语言?

文章出处:【微信号:deeptechchina,微信公众号:deeptechchina】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    一文了解Mojo编程语言

    ,利用硬件加速提升效率。 科学计算与数据处理 高效处理大规模数值分析、基因组学数据等任务。 系统工具开发 开发操作系统级工具,结合 Pyth
    发表于 11-07 05:59

    【「AI芯片:科技探索与AGI愿景」阅读体验】+AI的科学应用

    和量子计算的两项新兴的技术,将在生产假说方面发挥重要作用,从而改变科学发现的范式。 生成式AI: 2、穷举搜索 3、分析排错与组合优化 分析排错是生成假说的重要手段。强化学习也在优化假
    发表于 09-17 11:45

    曙光存储支持西湖大学高性能计算中心部署完成全新存储系统

    近日,曙光存储支持西湖大学高性能计算中心部署完成全新存储系统,为AI研发、科学计算和信息化平台等提供存力支持。性能实测显示,该系统单节点带宽
    的头像 发表于 08-25 11:48 949次阅读

    知合计算:RISC-V架构创新,阿基米德系列剑指高性能计算

    在于更高的能效性能。这主要取决于单位性能的提升,以及先进工艺带来的PPA优化。只有出现标杆性的产品才能真正引领整个RISC-V高性能计算软硬件生态的繁荣。 单位
    的头像 发表于 07-18 14:17 2373次阅读
    知合<b class='flag-5'>计算</b>:RISC-V架构创新,阿基米德系列剑指<b class='flag-5'>高性能</b><b class='flag-5'>计算</b>

    NVIDIA驱动的现代超级计算机如何突破速度极限并推动科学发展

    ,研究人员用个人电脑构建了强大的集群,甚至改造游戏显卡,把它们用于科学研究。 当今的高性能计算系统专为高速计算而设计,其中许多都采用了 NV
    的头像 发表于 06-26 19:39 981次阅读
    NVIDIA驱动的现代超级<b class='flag-5'>计算</b>机如何突破速度极限并推动<b class='flag-5'>科学</b>发展

    高性能计算集群在AI领域的应用前景

    随着人工智能技术的飞速发展,高性能计算集群(HPC)在AI领域的应用前景日益受到关注。HPC提供的计算能力与AI的智能分析能力相结合,为解决复杂问题和推动
    的头像 发表于 06-23 13:07 1040次阅读
    <b class='flag-5'>高性能</b><b class='flag-5'>计算</b>集群在AI领域的应用前景

    使用树莓派构建 Slurm 高性能计算集群:分步指南!

    在这篇文章中,我将分享我尝试使用树莓派构建Slurm高性能计算集群的经历。一段时间前,我开始使用这个集群作为测试平台,来创建一个更大的、支持GPU计算高性能
    的头像 发表于 06-17 16:27 1350次阅读
    使用树莓派构建 Slurm <b class='flag-5'>高性能</b><b class='flag-5'>计算</b>集群:分步指南!

    高性能计算面临的芯片挑战

    高性能计算(简称HPC)听起来像是科学家在秘密实验室里才会用到的东西,但它实际上是当今世界上最重要的技术之一。从预测天气到研发新药,甚至训练人工智能,高性能
    的头像 发表于 05-27 11:08 818次阅读
    <b class='flag-5'>高性能</b><b class='flag-5'>计算</b>面临的芯片挑战

    中科曙光助力中国商飞高性能计算平台落地

    近日,中国商飞上海航空工业(集团)有限公司(以下简称“上航公司”)国产高性能计算平台建成落地。该平台由中科曙光依托“超智融合”技术打造,并融合仿真计算、数据分析与模拟训练能力,以自主可
    的头像 发表于 05-13 18:01 849次阅读

    一文搞懂先进存储技术

    高性能计算(High Performance Computing, HPC)以超高的计算性能广泛应用于国民经济的各个领域,不仅
    的头像 发表于 02-26 17:42 1696次阅读
    一文搞懂先进存储技术

    高性能计算,名副其实的“算力皇冠”

    和推理的高性能计算技术。今天,我们就来聊一聊高性能计算计算科学的“皇冠”初次涉及
    的头像 发表于 02-08 14:27 1281次阅读
    <b class='flag-5'>高性能</b><b class='flag-5'>计算</b>,名副其实的“算力皇冠”

    首个科学计算基座大模型BBT-Neutron开源,助力突破大科学装置数据分析瓶颈

    大语言模型能否解决传统大语言模型在大规模数值数据分析中的局限性问题,助力科学界大科学装置设计、高能物理领域科学计算? 高能物理是探索宇宙基本
    的头像 发表于 12-26 15:29 1139次阅读
    首个<b class='flag-5'>科学</b><b class='flag-5'>计算</b>基座大模型BBT-Neutron开源,助力突破大<b class='flag-5'>科学</b>装置数据<b class='flag-5'>分析</b>瓶颈

    国产高性能物理层以太网PHY收发器适用于数据中心、智能计算等应用市场

    国产高性能物理层以太网PHY收发器适用于数据中心、智能计算等应用市场
    的头像 发表于 12-26 09:58 1234次阅读
    国产<b class='flag-5'>高性能</b>物理层以太网PHY收发器适<b class='flag-5'>用于</b>数据中心、智能<b class='flag-5'>计算</b>等应用市场

    Triton编译器在高性能计算中的应用

    高性能计算(High-Performance Computing,HPC)是现代科学研究和工程计算中不可或缺的一部分。随着计算需求的不断增长
    的头像 发表于 12-25 09:11 1566次阅读

    相位噪声分析仪的技术原理和应用

    相位噪声分析仪是一种用于信息科学与系统科学、电子与通信技术、计算科学技术、航空、航天
    发表于 12-13 14:21