0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Apache Spark社区让openEuler与外部开源社区更好的连接、融合

openEuler 来源:openEuler 作者:openEuler 2022-10-13 10:49 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2022年10月初,openEuler Maintainer 姜逸坤接受Apache Spark PMC邀请,正式成为Apache Spark Committer(核心贡献者)。

他的主要贡献是Apache Spark在基础设施、云原生、PySpark等方向的改进。

开源之路,从懵懂到深入

姜逸坤2016年加入华为计算开源团队,先后成为OpenStack社区 (OpenInfra基金会) Core Member、openEuler社区 (开放原子开源基金会) Maintainer、Volcano社区 (CNCF基金会) Reviewer、Spark社区 (Apache基金会) Committer,横跨多个顶级开源社区的经历让他快速完成知识积累和个人成长,而他对于技术和开源的热爱始终如一。

从多样性算力支持

到Apache Spark核心贡献者

openEuler 作为最优支持多样性算力的原生操作系统,支持x86、ARMRISC-V、LoongArch、SW64 等多种处理器架构,而开源社区的应用软件多架构支持最初并不完善,应用软件的短板使得openEuler社区用户无法充分、便利地发挥多样性算力的最大价值。

早在2019年,逸坤所在团队就开始了开源社区的多架构支持工作,在Apache Spark社区,他与团队成员和Spark社区协作共同完成了ARM64架构的适配,并且在Apache Spark 3.0.0版本正式支持ARM64架构(SPARK-30057),为Spark社区添加了 ARM CI 确保Spark在ARM64平台持续可用(SPARK-29106)。

随着在Spark社区贡献的逐步深入,他所做的工作从最初的多样性算力适配,慢慢地变为多样性算力架构级的增强。2021年11月,逸坤作为第一作者,联合华为、Apple、Netflix、Cloudera等开发者在Spark社区共同完成特性的设计和代码开发——《Spark-36057: 支持Spark on Kubernetes自定义调度功能》,并以Apache Spark + Volcano调度系统作为参考实现合入到社区,最终在Apache Spark 3.3.0版本作为亮点特性发布,增强了Spark多样性算力调度能力。随后,openEuler社区中的众多大数据用户(如华为、亚信、中国系统等),开始集成该方案到其下游的产品和服务中,以增强队列调度、资源预留、多样性算力调度的能力。“Upstream first”,并积极推动下游开源用户使用,是他一直坚持的理念。

近期,他在Apache Spark社区发起了一个新的提案——《SPARK-40513: 为Spark提供Docker官方镜像支持》,这个提案为Apache Spark社区提供官方容器镜像规范、标准及参考实现,并发布镜像,目前已获得Spark社区全票通过。这为后续诸如openEuler等操作系统更高效、更高质量地完成定制Spark大数据应用镜像奠定了基础。

同时,逸坤通过他在云计算、云原生、基础设施、ARM CI等领域的积累,为Apache Spark社区的基础设施稳定和优化付出了很多努力。最终,顺利获得了Apache Spark社区的认可,成为Apache Spark Committer。

让openEuler与外部开源社区

更好的连接、融合

Apache Spark社区的贡献仅仅是一个缩影,逸坤和他所在的团队持续活跃在openEuler社区的大数据、OpenStack、云原生、HPC、基础设施等SIG组,努力将openEuler社区连接并融入到更广阔的开源世界。也欢迎更多的人加入进来,让openEuler社区与外部开源社区更好融合,产生更多伟大的合作与创新!

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 操作系统
    +关注

    关注

    37

    文章

    7328

    浏览量

    128625
  • 开源
    +关注

    关注

    3

    文章

    4031

    浏览量

    45566
  • openEuler
    +关注

    关注

    2

    文章

    335

    浏览量

    6666

原文标题:开源无国界,从openEuler Maintainer到Spark Committer的贡献开源之路

文章出处:【微信号:openEulercommunity,微信公众号:openEuler】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    软通动力成为openEuler社区首批全球化先锋伙伴

    11月14—15日,操作系统大会&openEuler Summit 2025在北京隆重举行。本次大会由开放原子开源欧拉社区协同软通动力等数十家产业伙伴共同举办,旨在汇聚全球产业界力量,打造极具创新力的操作系统,加速全球基础软件
    的头像 发表于 11-19 17:25 516次阅读

    开放原子开源欧拉社区亮相2025操作系统大会

    openEuler”)社区,协同数十家产业伙伴共同举办,旨在汇聚全球产业界力量,打造极具创新力的操作系统,加速全球基础软件开源生态发展。
    的头像 发表于 11-17 16:37 658次阅读

    新一代AtomGit平台暨人工智能开源社区发布

    10月28日,“共建·共智·共享——AtomGit全新升级暨人工智能开源社区发布会”在北京国家会议中心隆重举行。开放原子开源基金会携手CSDN等生态伙伴,推动平台深度融合与能力升级,聚
    的头像 发表于 10-30 09:46 377次阅读

    软通动力携手openEuler推动开源生态全球化发展

    8月29日,开放原子开源基金会园区行在重庆召开。开放原子开源基金会openEuler社区作为开源社区
    的头像 发表于 09-01 11:39 513次阅读

    北京国际开源社区取得积极进展

    近日,2025开放原子开源生态大会开幕式上,北京国际开源社区交出两年建设答卷。开源中国、统信软件、深开鸿、北京人形机器人创新中心等十家企业获授北京国际
    的头像 发表于 07-28 17:05 833次阅读

    开放原子旋武开源社区正式成立

    近日,在2025开放原子开源生态大会开幕式上,开放原子旋武开源社区正式宣告成立。
    的头像 发表于 07-28 17:01 837次阅读

    开放原子电鸿开源社区正式成立

    在能源革命与数字技术深度融合的背景下,我国电力行业开源生态建设迈出关键一步。近日,在2025开放原子开源生态大会开幕式上,开放原子电鸿开源社区
    的头像 发表于 07-28 17:00 720次阅读

    软通动力加入openEuler社区AI联合工作组

    近日,2025开放原子开源生态大会开幕,openEuler社区携手软通动力与社区成员单位共同发起成立“openEuler
    的头像 发表于 07-25 14:42 823次阅读

    SOPHGO RISC-V SoC Linux Kernel 社区邮件列表建立,欢迎加入开源社区为RISC-V生态完善添砖加瓦

    SOPHGO RISC-V SoC Linux Kernel 社区邮件列表建立,欢迎加入开源社区为RISC-V生态完善添砖加瓦
    的头像 发表于 02-14 08:34 712次阅读
    SOPHGO RISC-V SoC Linux Kernel <b class='flag-5'>社区</b>邮件列表建立,欢迎加入<b class='flag-5'>开源</b><b class='flag-5'>社区</b>为RISC-V生态完善添砖加瓦

    RT-Thread荣登2024开源创新榜单,跻身中国十大开源社区

    日前,由中国科协科学技术传播中心、中国计算机学会、中国通信学会和中国科学院软件研究所联合主办,CSDN承办的2024年开源创新榜评选活动圆满落幕。在众多优秀候选者中,RT-Thread开源社区因其在
    的头像 发表于 01-08 19:06 1108次阅读
    RT-Thread荣登2024<b class='flag-5'>开源</b>创新榜单,跻身中国十大<b class='flag-5'>开源</b><b class='flag-5'>社区</b>

    共创开源操作系统根社区,openEuler探索可持续发展创新路径

    OpenAtom openEuler(简称“openEuler”)为代表的基础软件开源社区,通过开放的治理、持续的技术创新以及国际化探索,已经成为
    的头像 发表于 12-24 13:50 921次阅读

    黄鹤开源社区正式发布

    近日,在2024开放原子开发者大会暨首届开源技术学术大会开幕式上,基于开放原子开源基金会旗下AtomGit开源协作平台搭建的黄鹤开源社区正式
    的头像 发表于 12-23 11:33 987次阅读

    deepin荣获2024年度开源社区

    近日,由中国科协科学技术传播中心、中国计算机学会、中国通信学会和中国科学院软件研究所联合主办、CSDN 承办的 2024 年开源创新榜评选活动圆满落幕。经过严格的评选过程,deepin 荣获 2024 开源创新榜“年度开源
    的头像 发表于 12-20 15:13 916次阅读

    东方通联合openEuler社区即将开启云原生开源中间件 Meetup北京站

    openEuler社区云原生开源中间件Meetup北京站将于12月27日举办,由东方通与openEuler社区携手主办。此次交流活动特邀
    的头像 发表于 12-17 14:58 1124次阅读

    deepin社区落地开源生态发展合作倡议

    为共同推动做强做优做大创新操作系统生态,积极响应由 deepin(深度)、龙蜥(OpenAnolis)、开源欧拉(openEuler)、鸥栖(OpenCloudOS)及开放麒麟(openKylin
    的头像 发表于 12-17 09:35 1112次阅读