0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

微软研究院推出一种引起因果思考和分析的Python库:DoWhy

zhKF_jqr_AI 来源:未知 作者:李倩 2018-08-27 09:40 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着计算机系统在各领域(例如医疗、教育、政府机关)的应用,正确预测并理解这些设备的因果影响是非常重要的。没有A/B测试,建立在模式识别和相关性分析上的传统的机器学习方法,是不足以解释因果推理的。

与用来预测的机器学习库类似,微软研究院推出的DoWhy是一种引起因果思考和分析的Python库,它提供了一个统一的界面进行因果推理,并对许多假设进行自动测试,让非专业人士也能进行推理。该成果在最近举办的KDD 2018上做出了展示,以下是论智对其进行的大概介绍。

在《告别曲线拟合:因果推断和do-Calculus简介》一文中我们讲到,因果推断区分了人们可能想要估计的两种条件分布。在机器学习中,我们通常只会估计一种分布,但在某种情况下,我们可能也需要估计第二种。因果推断关注的是一些基础问题,它能帮我们回答“如果我们对x做了什么,那……”的问题,而这些问题通常需要对照试验和明确的干预措施来解决。

几十年来,社会科学和生物医学中,因果推断方法的使用十分广泛。随着计算机在我们的工作和日常生活中所占比例越来越大,因果关系问题在计算机科学中的重要性也不断增加。为了解决这个广泛的问题,我们推出了一个新的软件库——DoWhy(名称来源于Judea Pearl的do-calculus)。除了为常见的因果推断方法提供一个程序设计界面,DoWhy的设计还是为了显示常被忽略的因果分析假设。所以,DoWhy的特点之一就是会让潜在的假设更容易理解。另外,DoWhy可以进行敏感度分析和其他鲁棒性检查。我们的目的是让人们关注他们在对因果推断做假设时的思考而不是其中的细节

过去几年对因果推断的研究,让我们产生了创造DoWhy的想法,不论是估计推荐系统的影响,还是预测可能的成果,都对此有所启发。在每项研究中,我们总会重复以下步骤:找到正确的辨别策略、设计最合适的估计器、检查鲁棒性,每次都要从头开始。有时,面对大量有关因果推理的材料,进行实证推理就非常困难。想要理解我们的假设并证明它们,是很有挑战性的工作。

所以我们思考,能否创建一个软件库,通过简单的界面进行因果推断。但不幸的是,因果推断取决于对未知数量的估计,这也是因果推断的基本问题。与监督学习不同,我们无法从现有的测试集中得出客观的评估,所以,在因果推断中无法建立即时可用的方法。例如,对任何方法来说,例如新的算法或医疗处理过程,人们可以观察当他们被干预时发生了什么,或不被干预时会发生什么,但无法同时观察两种情况。所以,因果分析和数据生成过程中的假设有着重要的关系。

为了达到我们的目标,我们明白假设应该是因果推断库中最重要的因素。我们在设计DoWhy时考虑了两个指导原则——让因果假设易于理解,同时测试预测对违反假设的鲁棒性。

首先,DoWhy对辨别(identification)和估计(estimation)做了区分。对因果效应进行标人需要对数据生成过程做假设,同时还要从虚拟表示中具体说明目标被估量。估计过程完全是数据问题,所以辨别过程是最耗时的。为了正式表示假设,DoWhy利用贝叶斯图模型框架,从中用户可以详细了解他们想知道的东西,更重要的是,知道他们此前不知道的有关数据生成过程的事。对于估计,我们提供了基于潜在输出框架的方法,例如匹配、分层和辅助变量。使用DoWhy时还有一个“愉悦”的副作用,那就是你会发现看似分散的图模型和潜在输出框架其实是互通对等的。

将对因果影响的辨别和估计区分开

然后,一旦做出了假设,DoWhy会提供鲁棒性检测和敏感性检查,来检查估计的可靠性。由于潜在的假设多种多样,你可以测试估计是如何变化的,例如,通过加入一个新的干扰项或用“安慰剂”进行替换。不论哪种方法,DoWhy库都会基于图模型的假设自动检查得出的估计的有效性。不过我们依然知道自动检测不完美。所以,DoWhy会着重对输出进行解读。在分析的任何阶段,你都可以查看未经测试的假设、经过辨认的被估量以及得出的估计(如果有的话)。

在四行代码中进行因果推断。DoWhy的简单运行

未来,我们期待在库里增加更多特征,包括支持更多的估计和敏感性的方法,以及与其他可用的估算软件进行互通。

Jupyter notebook:causalinference.gitlab.io/dowhy/

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6719

    浏览量

    107355
  • 机器学习
    +关注

    关注

    66

    文章

    8541

    浏览量

    136236
  • python
    +关注

    关注

    57

    文章

    4858

    浏览量

    89588

原文标题:KDD 2018 | 微软推出用于因果推断的Python库——DoWhy

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    广电计量与长沙三大研究院达成战略合作

    11月26-27日,广电计量与长沙北斗产业安全技术研究院集团股份有限公司(简称“长沙北斗研究院”)、长沙量子测量产业技术研究院有限公司(简称“长沙量子研究院”)、湖南大学长沙半导体技术
    的头像 发表于 12-04 14:36 148次阅读

    广电计量携手南山研究院打造大健康产业新生态

    10月19日, “南山研究院南海四周年系列活动”在广东省南山医药创新研究院(简称“南山研究院”)成功举办。期间,南山研究院与广电计量等多家单位联合共建的华南医学健康功效循证评价中心正式
    的头像 发表于 10-23 17:42 902次阅读

    西门子EDA与北京开源芯片研究院达成战略合作

    近日,西门子EDA与北京开源芯片研究院宣布达成战略合作:西门子EDA的Tessent Embedded Analytics解决方案现已全面支持以“昆明湖”为代表的香山RISC-V Core,该解决方案将为选择香山开源处理器的用户提供一种实时监控CPU程序执行的机制。
    的头像 发表于 09-05 17:19 4573次阅读
    西门子EDA与北京开源芯片<b class='flag-5'>研究院</b>达成战略合作

    京东方首个材料研究院项目开工

    2025年8月20日,BOE(京东方)材料研究院项目开工仪式在山东省烟台市黄渤海新区八角片区成功举办。
    的头像 发表于 08-22 09:12 1049次阅读

    帝奥微车规芯片研究院获得CNAS认证

    近日,帝奥微车规芯片研究院通过中国合格评定国家认可委员会(CNAS)评审,正式获得CNAS认证。
    的头像 发表于 08-12 14:00 1748次阅读

    今日看点丨亚马逊上海AI研究院解散;索尼拟出售以色列芯片部门

          1、 亚马逊上海AI研究院解散! 据报道,AWS亚马逊云科技上海AI研究院的首席应用科学家王敏捷发朋友圈称,他们收到通知,AWS亚马逊云科技上海AI研究院(也是AWS最后
    发表于 07-24 09:42 1349次阅读
    今日看点丨亚马逊上海AI<b class='flag-5'>研究院</b>解散;索尼拟出售以色列芯片部门

    勇艺达人工智能研究院迎大咖加盟

    近日,深圳勇艺达总部隆重举行 “数智融合 聚贤赋能 —— 勇艺达人工智能研究院高端人才聘任仪式”,正式聘请黄道权先生与吴天准先生加盟,为研究院注入顶尖智慧力量,此举标志着勇艺达在人工智能领域的战略布局迈出关键步,也是践行 “人
    的头像 发表于 07-10 18:04 788次阅读

    导远科技与清华大学无锡应用技术研究院达成合作

    近日,导远科技与清华大学无锡应用技术研究院(以下简称:研究院)达成合作。导远科技将提供高精度定位产品及解决方案,以支持研究院在L4级自动驾驶和人形机器人领域的技术研发及转化落地。
    的头像 发表于 06-12 16:34 808次阅读

    国家管网集团研究院选购我司HS-TH-3500炭黑含量测试仪

    在能源输送管网建设与维护领域,对材料质量的严格把控至关重要。国家管网集团研究院直致力于提升管网材料的性能与安全性,在众多检测环节中,测定管材中炭黑含量是确保材料质量的关键环。​国家管网集团
    的头像 发表于 03-26 09:15 564次阅读
    国家管网集团<b class='flag-5'>研究院</b>选购我司HS-TH-3500炭黑含量测试仪

    中石化(大连)石油化工研究院有限公司选购我司热重分析

    中石化(大连)石油化工研究院有限公司作为行业内的重要科研机构,直致力于石油化工领域的技术创新与研发。在其众多科研项目推进过程中,热重分析仪是必不可少的关键设备。经过多方严谨考察与比对,最终选择了我
    的头像 发表于 01-22 15:45 557次阅读
    中石化(大连)石油化工<b class='flag-5'>研究院</b>有限公司选购我司热重<b class='flag-5'>分析</b>仪

    鲲云科技与中国工业互联网研究院成立AI+安全生产联合实验室

    在 2025 年 1 月 14 日举行的智算创新研究院开业盛典上,鲲云科技与中国工业互联网研究院(以下简称“工联”)正式宣布联合成立“AI+安全生产联合实验室”,工联问斌副院长、尚
    的头像 发表于 01-14 18:01 1558次阅读

    加速科技荣获“浙江省企业研究院”认定

    近日,浙江省经济和信息化厅公布“2024年认定(备案)省级企业研发机构名单”。经过多轮严格评审和公示,加速科技荣获“省企业研究院”认定。这是加速科技继获国家级专精特新“小巨人”企业认定荣誉后的又
    的头像 发表于 01-07 16:32 642次阅读
    加速科技荣获“浙江省企业<b class='flag-5'>研究院</b>”认定

    浪潮信息与智源研究院携手共建大模型多元算力生态

    人工智能技术的快速发展。浪潮信息与智源研究院将充分整合各自在算力、算法和技术创新方面的优势资源,共同探索大模型多元算力的新应用和新模式。 目前,智源研究院的Triton算子FlagGems已正式接入浪潮信息的元脑企智EPAI企
    的头像 发表于 12-31 11:49 875次阅读

    安谋科技与智源研究院达成战略合作,共建开源AI“芯”生态

    12月25日,安谋科技(中国)有限公司(以下简称“安谋科技”)与北京智源人工智能研究院(以下简称“智源研究院”)正式签署战略合作协议,双方将面向多元AI芯片领域开展算子优化与适配、编译器与工具链
    发表于 12-26 17:06 628次阅读
    安谋科技与智源<b class='flag-5'>研究院</b>达成战略合作,共建开源AI“芯”生态

    清新电源研究院荣获深圳市5A级社会组织

    12月18日,2024年度市级社会组织等级评估授牌仪式在深圳市福田区深科技城顺利举行。深圳市清新电源研究院作为2024年度深圳市5A级社会组织接受授牌。深圳市清新电源研究院党支部书记、副院长杨洪青
    的头像 发表于 12-18 19:37 1155次阅读
    清新电源<b class='flag-5'>研究院</b>荣获深圳市5A级社会组织