0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

美国国家标准与NIST联合发布人工智能的四项原则

战略科技前沿 来源:集成电路研发竞争情报 作者:集成电路研发竞争 2020-09-15 11:09 次阅读

2020年8月18日美国国家标准与技术研究院(NIST)发布联合报告《可解释人工智能四项原则草案》(以下简称“草案”),介绍了可解释人工智能(AI)的四项原则,它们构成了可解释AI系统的基本属性,涵盖了可解释AI的多学科性质,包括计算机科学、工程学和心理学领域。可解释性是可信AI的主要特征之一,不同的AI用户需要不同类型的解释,因此并不存在唯一的解释。“草案”提出了五类解释,总结了可解释AI理论并对可解释算法进行了概述。“草案”将人类自身决策判断作为参照来评估可解释AI四项原则,为设计可解释AI系统提供了参考。

一、四项原则

1.解释原则(Explanation)

解释原则要求AI系统为所有输出提供相应证据和理由,但不要求证据是正确的、信息丰富的或可理解的,只要表明AI系统能够提供解释即可。解释原则不强加任何的质量评价指标。

2.有意义原则(Meaningful)

有意义原则要求AI系统提供单个用户可理解的解释。也就说,只要一个用户可以理解AI系统所提供的解释即符合该原则,不要求解释为所有用户所理解。有意义原则允许基于不同用户群体或个人的定制化和动态解释。不同用户群体对AI系统的解释需求不同,如系统开发者与系统使用者需求不同,律师和陪审团需求不同。此外,每个人知识、经验、心理等方面存在差异导致其对AI解释的理解不同。

3.解释准确性原则(Explanation Accuracy)

解释准确性原则要求相应解释正确反映AI系统产生输出的过程,不要求AI系统做出的判断准确。与有意义原则类似,解释准确性原则也允许用户差异性。有的用户(如专家)需要解释产生输出的算法细节,有的用户可能仅需要关键问题的解释。对算法细节要求的差异性恰恰反映了解释准确性原则与有意义原则的不同,详细解释可以加强准确性但却牺牲了部分用户的理解性。基于不同的用户群体定制化解释准确性测量指标。AI系统可以提供多类型、多层次的解释,因此解释准确性测量指标不是通用或绝对的。

4.知识局限性原则(Knowledge Limits)

知识局限性原则要求AI系统仅可以在其所设定的条件下运行,以保证系统输出。知识局限性原则要求AI系统能识别出未经设计或批准以及响应错误的情况。知识局限性原则可以防止错误、危险、不公正的决策和输出,从而增加AI系统的可信度。AI系统有两类知识局限性,一是所需判断不属于AI系统本身设定,如鸟分类AI系统无法分类苹果,二是所需判断超越内部置信度阈值,如鸟分类AI系统无法对模糊图像上的鸟类进行归类。

二、五类解释

1.用户利益(User benefit):这类解释用来通知用户相关AI系统的输出信息。例如,为贷款申请者提供贷款获批或者被拒的原因。

2.社会接受度(Societal acceptance):这类解释用来提高社会对AI系统的信任和接受程度。例如,如果AI系统提供了意想不到的输出,需向用户说明出现结果偏差的原因。

3.监管合规(Regulatory and compliance):这类解释用来协助审核AI系统是否符合相关的法规和安全标准等。例如,为自动驾驶的开发人员和审核人员提供相关辅助,对飞机失事后的司法鉴定进行评估等。

4.系统开发(System development):这类解释用来帮助和提升AI算法和系统的开发、改进、调试和维护。此类解释面向技术人员、产品经理和执行人员,同时面向需要系统细节的用户以及与系统交互的用户。

5.所有者利益(Owner benefit):这类解释用于使AI系统运营者获益。例如,影视推荐系统根据用户以往观看历史为其推荐影视产品,如果用户接受推荐将继续使用该服务,那么使用推荐系统的服务运营者也将获利。

三、可解释算法

目前研究人员已经开发了各种算法来解释AI系统。自解释模型算法,算法本身提供解释,如决策树模型、线性和逻辑回归模型。全局解释算法,将AI算法视为黑盒进行全局解释,如用Shapley值判断特征重要性。单个决策解释算法,在黑盒模型基础上为每个决策提供独立的解释,如用LIME值解释单个预测。解释的对抗性攻击算法,主要应对解释准确性不能达到100%时的系统安全问题。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26153

    浏览量

    263716
  • 人工智能
    +关注

    关注

    1773

    文章

    43373

    浏览量

    230139

原文标题:【政策规划•智】美国NIST发布《可解释人工智能四项原则草案》

文章出处:【微信号:gh_22c5315861b3,微信公众号:战略科技前沿】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    嵌入式人工智能的就业方向有哪些?

    嵌入式人工智能的就业方向有哪些? 在新一轮科技革命与产业变革的时代背景下,嵌入式人工智能成为国家新型基础建设与传统产业升级的核心驱动力。同时在此背景驱动下,众多名企也纷纷在嵌入式人工智能
    发表于 02-26 10:17

    魁北克人工智能研究所 Mila 与联合国、OECD、UNESCO 等机构联合举办 AI 与人权国际会议

    国教科文组织 (UNESCO)、电气电子工程师学会 (IEEE)、美国国家标准技术研究所 (NIST)、国际特赦组织、欧洲委员会等众多组织的高级官员
    的头像 发表于 02-18 09:34 344次阅读

    拜登政府发布人工智能安全部署重要标准与指南

    NIST正在构建评估人工智能的准则,推动完善相关标准化体系,并构思能够模拟测试人工智能系统的环境。同时,他们也期望业内企业及广大公众对生成式人工智能
    的头像 发表于 12-20 14:22 200次阅读

    美国防部发布人工智能采用战略

    由首席数字和人工智能办公室开发的最新蓝图是建立在2018年美国防部《人工智能战略》和2020年发布的《国防部数据战略》修订版的基础上,并取代了后者,后者为国防部部署
    的头像 发表于 11-10 17:21 730次阅读

    ai人工智能机器人

    随着时间的推移,人工智能的发展越来越成熟,智能时代也离人们越来越近,近几年人工智能越来越火爆,人工智能的应用已经开始渗透到各行各业,与生活交融,成为人们无法拒绝,无法失去的一个重要存在
    发表于 09-21 11:09

    瑞为技术实力入选“智赋百业”2023年人工智能合发展与安全应用典型案例

    ”2023年人工智能合发展与安全应用典型案例》重磅发布,瑞为技术“智慧民航旅客通行解决方案”实力入选“领航型”。 本次由国家工业信息安全发展研究中心发起的 《“智赋百业”2023年
    的头像 发表于 09-19 19:16 1031次阅读
    瑞为技术实力入选“智赋百业”2023年<b class='flag-5'>人工智能</b>融<b class='flag-5'>合发</b>展与安全应用典型案例

    《通用人工智能:初心与未来》-试读报告

    作者给出的结论。整体读下来,可以给我们关于通用人工智能全面的了解。作者也反复强调了通用人工智能与专用智能的区别。尤其是人们错误的认为一堆专用智能堆砌起来就是通用
    发表于 09-18 10:02

    服贸会看点 触景无限入选“智赋百业”2023人工智能合发展与安全应用典型案例

    9月6日,在北京举行的2023年中国国际服务贸易交易会人工智能合发展与安全应用论坛上,国家工业信息安全发展研究中心发布了“智赋百业”2023年人工
    的头像 发表于 09-07 18:50 1507次阅读
    服贸会看点  触景无限入选“智赋百业”2023<b class='flag-5'>人工智能</b>融<b class='flag-5'>合发</b>展与安全应用典型案例

    大模型标准化专题组成立!中国人工智能领域迈出重要一步

    中国人工智能领域又迎来了一次里程碑式的事件!近日,第六届世界人工智能大会在上海开幕,国家标准委指导的国家人工智能标准化总体组宣布我国首个大模
    的头像 发表于 07-10 10:48 197次阅读

    大模型标准化专题组成立!中国人工智能领域迈出重要一步

    中国人工智能领域又迎来了一次里程碑式的事件!近日,第六届世界人工智能大会在上海开幕,国家标准委指导的国家人工智能标准化总体组宣布我国首个大模
    的头像 发表于 07-10 10:16 254次阅读

    重磅!润和软件发布人工智能中枢平台AIRUNS公测版本

    基于在人工智能领域的技术突破和应用实践,江苏润和软件股份有限公司(以下简称“润和软件”)于7月3日重磅发布人工智能中枢平台公测版本AIRUNS。AIRUNS将为业内探索人工智能技术发展与行业应用提供
    的头像 发表于 07-03 08:25 418次阅读
    重磅!润和软件<b class='flag-5'>发布人工智能</b>中枢平台AIRUNS公测版本

    AI 人工智能的未来在哪?

    人工智能、AI智能大模型已经孵化;繁衍过程将突飞猛进,ChatGPT已经上线。 世界首富马斯克认为AI对人类是一种威胁;谷歌前CEO施密特认为AI和机器学习对人类有很大益处。 每个国家对核武器的运用有两面性,可造可控;但AI
    发表于 06-27 10:48

    美国宣布成立新NIST人工智能公共工作组

    长期目标是以nist人工智能风险管理框架为基础,帮助开发和管理人工智能应用程序的使用前、使用前、使用后的风险,解决与生成人工智能相关的机会和课题。
    的头像 发表于 06-25 10:28 751次阅读

    DFRobot与Intel联合发布白皮书促进物联网和人工智能技术的发展及应用

    DFRobot与英特尔联合发布《DFRobot 基于英特尔® 处理器为全球创客打造面向边缘计算与人工智能的开发板》白皮书。 该白皮书介绍了未来人工智能技术的发展趋势,探讨了当前开源硬件面临的需求
    的头像 发表于 05-18 14:02 488次阅读

    机器学习和人工智能有什么区别?

    机器学习和人工智能有什么区别?当今唯一可用的软件选项是 ML 系统。在十年左右的时间里,当计算能力和算法开发达到可以显着影响结果的地步时,我们将见证第一个真正的人工智能。是人工智能软件吗?软件构成
    发表于 04-12 08:21