0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

微软研究院推出一种引起因果思考和分析的Python库:DoWhy

zhKF_jqr_AI 来源:未知 作者:李倩 2018-08-27 09:40 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着计算机系统在各领域(例如医疗、教育、政府机关)的应用,正确预测并理解这些设备的因果影响是非常重要的。没有A/B测试,建立在模式识别和相关性分析上的传统的机器学习方法,是不足以解释因果推理的。

与用来预测的机器学习库类似,微软研究院推出的DoWhy是一种引起因果思考和分析的Python库,它提供了一个统一的界面进行因果推理,并对许多假设进行自动测试,让非专业人士也能进行推理。该成果在最近举办的KDD 2018上做出了展示,以下是论智对其进行的大概介绍。

在《告别曲线拟合:因果推断和do-Calculus简介》一文中我们讲到,因果推断区分了人们可能想要估计的两种条件分布。在机器学习中,我们通常只会估计一种分布,但在某种情况下,我们可能也需要估计第二种。因果推断关注的是一些基础问题,它能帮我们回答“如果我们对x做了什么,那……”的问题,而这些问题通常需要对照试验和明确的干预措施来解决。

几十年来,社会科学和生物医学中,因果推断方法的使用十分广泛。随着计算机在我们的工作和日常生活中所占比例越来越大,因果关系问题在计算机科学中的重要性也不断增加。为了解决这个广泛的问题,我们推出了一个新的软件库——DoWhy(名称来源于Judea Pearl的do-calculus)。除了为常见的因果推断方法提供一个程序设计界面,DoWhy的设计还是为了显示常被忽略的因果分析假设。所以,DoWhy的特点之一就是会让潜在的假设更容易理解。另外,DoWhy可以进行敏感度分析和其他鲁棒性检查。我们的目的是让人们关注他们在对因果推断做假设时的思考而不是其中的细节

过去几年对因果推断的研究,让我们产生了创造DoWhy的想法,不论是估计推荐系统的影响,还是预测可能的成果,都对此有所启发。在每项研究中,我们总会重复以下步骤:找到正确的辨别策略、设计最合适的估计器、检查鲁棒性,每次都要从头开始。有时,面对大量有关因果推理的材料,进行实证推理就非常困难。想要理解我们的假设并证明它们,是很有挑战性的工作。

所以我们思考,能否创建一个软件库,通过简单的界面进行因果推断。但不幸的是,因果推断取决于对未知数量的估计,这也是因果推断的基本问题。与监督学习不同,我们无法从现有的测试集中得出客观的评估,所以,在因果推断中无法建立即时可用的方法。例如,对任何方法来说,例如新的算法或医疗处理过程,人们可以观察当他们被干预时发生了什么,或不被干预时会发生什么,但无法同时观察两种情况。所以,因果分析和数据生成过程中的假设有着重要的关系。

为了达到我们的目标,我们明白假设应该是因果推断库中最重要的因素。我们在设计DoWhy时考虑了两个指导原则——让因果假设易于理解,同时测试预测对违反假设的鲁棒性。

首先,DoWhy对辨别(identification)和估计(estimation)做了区分。对因果效应进行标人需要对数据生成过程做假设,同时还要从虚拟表示中具体说明目标被估量。估计过程完全是数据问题,所以辨别过程是最耗时的。为了正式表示假设,DoWhy利用贝叶斯图模型框架,从中用户可以详细了解他们想知道的东西,更重要的是,知道他们此前不知道的有关数据生成过程的事。对于估计,我们提供了基于潜在输出框架的方法,例如匹配、分层和辅助变量。使用DoWhy时还有一个“愉悦”的副作用,那就是你会发现看似分散的图模型和潜在输出框架其实是互通对等的。

将对因果影响的辨别和估计区分开

然后,一旦做出了假设,DoWhy会提供鲁棒性检测和敏感性检查,来检查估计的可靠性。由于潜在的假设多种多样,你可以测试估计是如何变化的,例如,通过加入一个新的干扰项或用“安慰剂”进行替换。不论哪种方法,DoWhy库都会基于图模型的假设自动检查得出的估计的有效性。不过我们依然知道自动检测不完美。所以,DoWhy会着重对输出进行解读。在分析的任何阶段,你都可以查看未经测试的假设、经过辨认的被估量以及得出的估计(如果有的话)。

在四行代码中进行因果推断。DoWhy的简单运行

未来,我们期待在库里增加更多特征,包括支持更多的估计和敏感性的方法,以及与其他可用的估算软件进行互通。

Jupyter notebook:causalinference.gitlab.io/dowhy/

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微软
    +关注

    关注

    4

    文章

    6760

    浏览量

    108159
  • 机器学习
    +关注

    关注

    67

    文章

    8570

    浏览量

    137420
  • python
    +关注

    关注

    59

    文章

    4892

    浏览量

    90416

原文标题:KDD 2018 | 微软推出用于因果推断的Python库——DoWhy

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    合肥综合性国家科学中心人工智能研究院与大华股份达成战略合作

    近日,合肥综合性国家科学中心人工智能研究院(以下简称“人工智能研究院”)与大华股份“IAI-Dahua视频物联智能体联合实验室”签约及揭牌仪隆重举行。中国科学技术大学党委常委、副校长、中国工程院士
    的头像 发表于 05-21 16:37 86次阅读

    中国电子信息产业发展研究院行到访开放原子开源基金会参观交流

    5月14日,中国电子信息产业发展研究院(简称“赛迪研究院”)行到访开放原子开源基金会。双方围绕开源产业研究、地方生态建设、安全测评体系、人才培养评价体系等内容深入交流。赛迪
    的头像 发表于 05-16 17:40 1385次阅读

    MediaTek携手微软研究院联合开发有源光缆技术

    MediaTek、微软研究院以及其他供应商所组成的研发团队,成功设计出新代由微型化 MicroLED 光源驱动的有源光缆(AOC)。这革命性的有源 MicroLED 光缆设计,相较
    的头像 发表于 03-19 14:20 329次阅读

    汇诚仪器与中科微电子苏州研究院合作,热重分析仪助力科研创新

    近日,南京汇诚仪器仪表有限公司与中科微电子所苏州产业技术研究院正式达成友好合作,研究院成功采购汇诚仪器自主研发生产的TGA-601S热重分析仪,用于微电子材料领域的科研检测与技术攻关
    的头像 发表于 02-05 16:20 1197次阅读
    汇诚仪器与中科微电子苏州<b class='flag-5'>研究院</b>合作,热重<b class='flag-5'>分析</b>仪助力科研创新

    诚迈科技携手应急管理大学、中铁十九局共建智慧应急科技创新研究院

    1月25日,由诚迈科技、应急管理大学、中铁十九局共同组建的智慧应急科技创新研究院(以下简称“研究院”)在应急管理大学南校区正式启动。应急管理大学党委书记赵峰华,中铁十九局党委常委、副总经理赵琦,诚迈
    的头像 发表于 01-27 11:51 798次阅读
    诚迈科技携手应急管理大学、中铁十九局共建智慧应急科技创新<b class='flag-5'>研究院</b>

    纤纳光电获得2025年度浙江省企业研究院认定

    近日,浙江省经济和信息化厅发布2025年度拟认定省企业研究院名单。经企业申报、县级审查、市级推荐、专家评审等程序,纤纳光电建设的“浙江省纤纳新能源钙钛矿技术企业研究院”成功入选。
    的头像 发表于 12-16 17:31 1538次阅读

    朗迅芯海半导体荣获2025年度浙江省企业研究院认定

    近日,浙江省经济和信息化厅正式公布2025年度省企业研究院认定名单,朗迅芯海半导体凭借在集成电路先进测试领域深厚的创新实力与技术积累,成功获批“浙江省企业研究院”认定。
    的头像 发表于 12-11 15:59 910次阅读

    广电计量与长沙三大研究院达成战略合作

    11月26-27日,广电计量与长沙北斗产业安全技术研究院集团股份有限公司(简称“长沙北斗研究院”)、长沙量子测量产业技术研究院有限公司(简称“长沙量子研究院”)、湖南大学长沙半导体技术
    的头像 发表于 12-04 14:36 744次阅读

    广电计量携手南山研究院打造大健康产业新生态

    10月19日, “南山研究院南海四周年系列活动”在广东省南山医药创新研究院(简称“南山研究院”)成功举办。期间,南山研究院与广电计量等多家单位联合共建的华南医学健康功效循证评价中心正式
    的头像 发表于 10-23 17:42 1381次阅读

    西门子EDA与北京开源芯片研究院达成战略合作

    近日,西门子EDA与北京开源芯片研究院宣布达成战略合作:西门子EDA的Tessent Embedded Analytics解决方案现已全面支持以“昆明湖”为代表的香山RISC-V Core,该解决方案将为选择香山开源处理器的用户提供一种实时监控CPU程序执行的机制。
    的头像 发表于 09-05 17:19 5344次阅读
    西门子EDA与北京开源芯片<b class='flag-5'>研究院</b>达成战略合作

    京东方首个材料研究院项目开工

    2025年8月20日,BOE(京东方)材料研究院项目开工仪式在山东省烟台市黄渤海新区八角片区成功举办。
    的头像 发表于 08-22 09:12 1540次阅读

    帝奥微车规芯片研究院获得CNAS认证

    近日,帝奥微车规芯片研究院通过中国合格评定国家认可委员会(CNAS)评审,正式获得CNAS认证。
    的头像 发表于 08-12 14:00 2289次阅读

    今日看点丨亚马逊上海AI研究院解散;索尼拟出售以色列芯片部门

          1、 亚马逊上海AI研究院解散! 据报道,AWS亚马逊云科技上海AI研究院的首席应用科学家王敏捷发朋友圈称,他们收到通知,AWS亚马逊云科技上海AI研究院(也是AWS最后
    发表于 07-24 09:42 1484次阅读
    今日看点丨亚马逊上海AI<b class='flag-5'>研究院</b>解散;索尼拟出售以色列芯片部门

    勇艺达人工智能研究院迎大咖加盟

    近日,深圳勇艺达总部隆重举行 “数智融合 聚贤赋能 —— 勇艺达人工智能研究院高端人才聘任仪式”,正式聘请黄道权先生与吴天准先生加盟,为研究院注入顶尖智慧力量,此举标志着勇艺达在人工智能领域的战略布局迈出关键步,也是践行 “人
    的头像 发表于 07-10 18:04 1138次阅读

    导远科技与清华大学无锡应用技术研究院达成合作

    近日,导远科技与清华大学无锡应用技术研究院(以下简称:研究院)达成合作。导远科技将提供高精度定位产品及解决方案,以支持研究院在L4级自动驾驶和人形机器人领域的技术研发及转化落地。
    的头像 发表于 06-12 16:34 1305次阅读