侵权投诉

怎样构建更为公平的人工智能系统?

2020-09-16 10:43 次阅读

人工智能正在各行各业的企业中迅速部署,预计企业在未来三年内将在人工智能系统上的支出增加一倍。但是,AI并不是最容易部署的技术,即使功能齐全的AI系统也可能带来业务和客户风险。

近期在信贷、招聘和医疗保健应用中有关AI的新闻报道中强调的主要风险之一是存在潜在的偏见。因此,其中一些公司受到政府机构的监管,以确保其AI模型是公平的。

机器学习模型在实际示例中进行训练,以模仿未见数据的历史结果。训练数据可能由于多种原因而产生偏见,包括代表受保护群体的数据项数量有限以及在整理数据过程中人为偏见潜伏的可能性。不幸的是,对有偏见的数据进行训练的模型通常会使他们做出的决策中的偏见永存。

确保业务流程的公平性不是一个新的范例。例如,美国政府在1970年代禁止通过公平贷款法(例如《平等信贷机会法》(ECOA)和《公平住房法》(FHAct))对信贷和房地产交易进行歧视。此外,《同酬法》、《民权法》、《康复法》、《就业年龄歧视法》和《移民改革法》都提供了广泛的保护措施,以防止歧视某些受保护群体。

构建公平的AI需要两步过程:(1)理解偏见和(2)解决潜在偏差。在本文中,我们将重点讨论第一个主题。

了解偏见

在解决问题之前,您需要首先确定其存在。没有一家公司会以恶意的意图将其AI系统偏向用户。取而代之的是,由于模型开发生命周期中缺乏意识和透明性,导致了无意间引入了偏见。

怎样构建更为公平的人工智能系统?

以下列出了最佳实践,以更好地理解和减少ML开发生命周期中的偏见。

获得主要利益相关者的支持

不公平的系统类似于会产生重大业务影响的安全风险。实施公平治理流程需要物质资源。没有领导团队的支持,必要的实现该流程所需的任务可能无法获得超过其他业务优先级的足够开发能力。因此,强大的以公平为中心的AI流程始于AI所有利益相关者的认同系统,包括管理团队。

任命“内部捍卫者”

确保买入后,任命负责建立公平程序的冠军。倡导者在包括法律和合规代表在内的各个团队之间进行沟通,以草拟与公司领域(例如,医疗保健、招聘等)和团队的特定用例(例如,建议重新住院、确定保险费、评估信用度)相关的准则等。有几种偏见度量标准,例如机会均等、人口统计均等。公平性度量标准的选择取决于用例,并由从业者掌握。

在最终确定指导方针之后,“捍卫者”将对相关团队进行培训。为了使其可行,AI公平工作流程可确保数据和模型偏差。另外,它要求访问被评估公平性的受保护属性,例如性别和种族。在大多数情况下,很难收集受保护的属性,在大多数情况下,直接在模型中使用它们是非法的。

但是,即使未将受保护的属性用作模型功能,也可能存在代理偏差,另一个数据字段(如邮政编码)可能会与受保护的属性(如种族)相关联。如果没有保护属性并对其进行衡量,则很难识别偏差。团队解决这一差距的一种方法是推断受保护的属性,例如在贷款承保模型的情况下使用普查数据推断性别和种族。

测量偏差

接下来,我们需要测量偏差。不幸的是,许多类型的机器学习模型固有的不透明性使得测量其偏差变得困难。人工智能的可解释性是一项最新的研究进展,它解锁了人工智能的黑匣子,使人们可以了解人工智能模型内部发生的事情。这导致对偏差的透明评估,以确保由AI驱动的决策是负责任和可信赖的。

以下是ML模型的公平报告示例:

该特定报告是用于评估风险以做出贷款决策的模型。它在受保护的“种族”属性上具有其他元数据。使用此报告,用户可以使用各种公平性指标来查看组公平性和不同的影响。建议您根据用例的领域需求,专注于特定指标(例如,“误报率”)和特定特权类别(例如,白种人)来衡量偏见。

除了上面的贷款模型之类的表格模型外,文本和图像模型中也会出现偏差。例如,显示了一个文本模型,该文本模型正在测量用户生成的注释的毒性。

下面的样本偏见报告显示了该模型如何评估跨种族和宗教阶层的毒性。

请注意,热图如何表明该模型相对于“女性”和“无神论者”身份群体的偏见要小得多。在这种情况下,ML开发人员可能希望将有偏见的身份组的更多代表性示例添加到训练集中。

生产模型的公平考虑

无论在部署之前是否存在偏差,一旦模型为实时流量提供服务,就有可能发生偏差。偏差的变化通常是由于向部署的模型提供了输入数据而导致的,这些输入数据在统计上不同于用于训练模型的数据。因此,最佳实践是在部署后监视模型中的相关偏差指标。下面的屏幕截图描绘了监视模型准确性指标(用于跟踪潜在偏差的相关指标之一)的外观。

总之,人工智能为量化和解决迄今为止由人主导和不透明的决策系统中的偏差提供了独特的机会。
       责任编辑:tzh

收藏 人收藏
分享:

评论

相关推荐

浅谈中国AI芯片的创新之路

清华大学微纳电子系副主任、微电子所副所长尹首今(1)日发表了以《中国AI芯⽚的创新之路》为主题的演讲....
的头像 我快闭嘴 发表于 12-01 11:17 0次 阅读
浅谈中国AI芯片的创新之路

微软深度神经网络:基于Azure云的端到端语音合成系统

以往,谈及对合成语音的刻板印象,很多人会联想到《星球大战》中的C-3PO那个有着近似人类外形金光闪闪....
的头像 Les 发表于 12-01 11:05 18次 阅读
微软深度神经网络:基于Azure云的端到端语音合成系统

第五届瑞芯微开发者大会成功举行

2020年11月26日-11月27日,由瑞芯微电子股份有限公司(以下简称瑞芯微)举办的第五届开发者大....
的头像 璟琰乀 发表于 12-01 10:59 22次 阅读
第五届瑞芯微开发者大会成功举行

AI在手游方面有哪些新的应用?

AI不仅能够帮助拍摄出更加清晰通透的夜景照片,实现更流畅的实时翻译,也可以让游戏体验更进一步。高通骁....
的头像 Qualcomm中国 发表于 12-01 10:48 35次 阅读
AI在手游方面有哪些新的应用?

AI领域人才表现出高增长态势

据BOSS直聘职业科学实验室提供的数据显示,人工智能领域人才进入高速可持续增长阶段。在这个领域的新职....
的头像 Les 发表于 12-01 10:48 33次 阅读
AI领域人才表现出高增长态势

AI状况全球调查报告,采用AI的企业获利明显

近期,麦肯锡发布了有关AI状况的全球调查报告,这是该报告连续第三年发布。对高管的访问和从业者的调查发....
发表于 12-01 10:47 16次 阅读
AI状况全球调查报告,采用AI的企业获利明显

CS—1完成速度快于当今任何基于CPU的超级计算机

在近日召开的世界超级计算大会上美国塞雷布拉斯系统公司向人们展示了基于有史以来最大芯片制造的专用人工智....
的头像 lhl545545 发表于 12-01 10:45 12次 阅读
CS—1完成速度快于当今任何基于CPU的超级计算机

崔海军:人脸识别已广泛运用,但也要有保护自身信息的意识

近日,关于人脸识别是否安全的争论引起了很多人的关注,大家对于面部信息的获娶储存和传输是否安全表示担忧....
发表于 12-01 10:33 32次 阅读
崔海军:人脸识别已广泛运用,但也要有保护自身信息的意识

什么是边缘人工智能_边缘人工智能应用

边缘人工智能(Edge AI)是人工智能领域引人注目的新领域之一,其目的是让用户运行人工智能流程而不....
的头像 电子魔法师 发表于 12-01 10:30 42次 阅读
什么是边缘人工智能_边缘人工智能应用

人工智能在电力行业是如何应用的?

国网北京电力人工智能数据竞赛在京正式启动。竞赛由国网北京市电力公司主办,以“智能新时代,安全新未来”....
的头像 我快闭嘴 发表于 12-01 10:29 96次 阅读
人工智能在电力行业是如何应用的?

区块链技术推动数字产业化进程

在数字经济大环境下,各省市以及各企业也都在布局产业数字化转型,为实现经济高质量发展奠定坚实的基矗区块....
的头像 电子魔法师 发表于 12-01 10:27 68次 阅读
区块链技术推动数字产业化进程

人工智能领域人才进入高速可持续增长阶段

据BOSS直聘职业科学实验室提供的数据显示,人工智能领域人才进入高速可持续增长阶段。在这个领域的新职....
的头像 电子魔法师 发表于 12-01 10:24 111次 阅读
人工智能领域人才进入高速可持续增长阶段

人工智能时代会影响人类发展及就业吗

互联网时代已经发展起来了,在互联网时代发展过程中,人类大概不知道互联网时代发展起来意味着人工智能Ai....
的头像 电子魔法师 发表于 12-01 10:21 87次 阅读
人工智能时代会影响人类发展及就业吗

小米10/Pro优先开启小爱同学5.0全新升级内测

在2020 年小米开发者大会(MIDC)上,小爱同学 5.0 正式宣布,小爱同学将从语音助手正式升级....
的头像 璟琰乀 发表于 12-01 10:21 61次 阅读
小米10/Pro优先开启小爱同学5.0全新升级内测

人工智能技术的多场景应用

2016年,智能手机开启了新元年高精度的面部识别,这一技术的应用在当时引起了不小轰动,但是现在已经完....
的头像 电子魔法师 发表于 12-01 10:16 59次 阅读
人工智能技术的多场景应用

印尼在人工智能领域向前迈出重要一步

据《雅加达邮报》报道,8月10日,印尼研究技术部长兼国家研究创新署(BRIN)主席班邦(Bamban....
的头像 我快闭嘴 发表于 12-01 10:15 85次 阅读
印尼在人工智能领域向前迈出重要一步

工业视觉解决方案开发商深视创新获得数千万元A轮融资

据创始人许琦介绍,公司前期在产品研发上经历了2年,2018年后开始向机械制造、3C、食品、医药行业落....
的头像 高工机器人 发表于 12-01 10:10 43次 阅读
工业视觉解决方案开发商深视创新获得数千万元A轮融资

人工智能的作用不是取代更好的服务

如果说早期的游戏是一种补充娱乐,那么现在的游戏已经发展成为一种主流文化。在游戏发展过程中,AI技术扮....
的头像 电子魔法师 发表于 12-01 10:10 87次 阅读
人工智能的作用不是取代更好的服务

5G商用进程加速,将出现哪些新机遇和新挑战?

“5G正帮助企业在各种环境和应用场景中实现过去3G和4G时代不能做到的很多事情,4G改变生活,5G改....
发表于 12-01 10:02 40次 阅读
5G商用进程加速,将出现哪些新机遇和新挑战?

伴随人工智能技术的发展,加速了医疗研发进程

科技技术日新月异,以人工智能、云计算等科技技术为各行各业带来创新活力,金融业继而向金融科技转变,制造....
的头像 电子魔法师 发表于 12-01 10:01 71次 阅读
伴随人工智能技术的发展,加速了医疗研发进程

谷歌人工智能部门DeepMind解决蛋白质折叠问题,运算时间数月缩短至数小时

谷歌人工智能部门DeepMind在预测蛋白质结构方面迈出了一大步。公司表示,其已经解决了关键的蛋白质....
的头像 工程师邓生 发表于 12-01 09:34 67次 阅读
谷歌人工智能部门DeepMind解决蛋白质折叠问题,运算时间数月缩短至数小时

谷歌研究人员发现了机器学习模型常见失败的一个主要原因

机器学习模型在实验室中调整和调整到近乎完美的性能,但在现实环境中往往会失败,这已经不是什么秘密了。这....
的头像 Les 发表于 11-30 17:44 161次 阅读
谷歌研究人员发现了机器学习模型常见失败的一个主要原因

微软中国与小冰公司联合推出一系列人工智能+云计算商业化解决方案

时至如今,很少有人会怀疑,人工智能和云计算新等新技术在不同行业的渐次落地,将日趋成为商业博弈的重要一....
的头像 Les 发表于 11-30 17:28 323次 阅读
微软中国与小冰公司联合推出一系列人工智能+云计算商业化解决方案

可視化学习AI:自動提取特征(Feature)

Part-A:人為給出特徵的值 使用Excel簡潔的UI畫面請兩位Y嬛去認識這兩個字 (PS. 本文裡的圖片引自百度圖片) Y嬛...
发表于 11-30 17:23 101次 阅读
可視化学习AI:自動提取特征(Feature)

应用人工智能的系统来减少物联网传感器的能源消耗并缓解电池寿命

传感器功率损耗是物联网的一大祸害。 如果这些设备不断地耗尽电力,部署数百万个传感器几乎是徒劳的。物联....
的头像 物联网技术 发表于 11-30 17:16 207次 阅读
应用人工智能的系统来减少物联网传感器的能源消耗并缓解电池寿命

学AI的鲤跃龙门之路:AI的探索技艺

1. 學AI的出發點:如何提取特徵(Feature) 說明: AI機器學習(Machine Learning)的基礎活動之一就是:提取特徵(Feature ...
发表于 11-30 17:11 101次 阅读
学AI的鲤跃龙门之路:AI的探索技艺

纳博特、大儒科技、华成工控、KEBA 4家企业参与了“控制系统”奖项评选

目前来看,机器人控制系统架构还面临着诸多问题,包括单一实时处理器系统已无法胜任异构、多源、大数据的计....
的头像 高工机器人 发表于 11-30 16:53 174次 阅读
纳博特、大儒科技、华成工控、KEBA 4家企业参与了“控制系统”奖项评选

云从科技开辟人机协同路径 技术日臻完善

对于动辄百亿估值的AI企业来说,单一的技术和产品难免过于苍白,云从科技能够创造性地提出人机协同战略,....
的头像 lhl545545 发表于 11-30 16:07 437次 阅读
云从科技开辟人机协同路径 技术日臻完善

5G+AI:未来老年人的养老生活将变得更加智能化

高科技的普遍推广运用,未来老年人的养老生活将变得更加智能化,智慧养老成为了目前我国养老产业发展的新趋....
的头像 Les 发表于 11-30 16:06 197次 阅读
5G+AI:未来老年人的养老生活将变得更加智能化

儿童教育引爆娱乐机器人市场,行业该如何破冰前行

看过《澳门风云3》这部电影的朋友们,一定对剧中的机器人管家傻强记忆深刻。在电影中,能够斟茶、变形、喷....
的头像 Les 发表于 11-30 15:54 109次 阅读
儿童教育引爆娱乐机器人市场,行业该如何破冰前行

慧医谷:打造标准化、可视化、数据化的中医教研智慧体系

近年来,数字化三个字越来越多地出现在人们的视野之中。数字化教育、数字化工厂、数字化媒体......好....
的头像 Les 发表于 11-30 15:40 199次 阅读
慧医谷:打造标准化、可视化、数据化的中医教研智慧体系

失语者的未来:无声语音的数字发声

人工智能技术的精进与开发无疑对人工智能的应用至关重要,而人工智能除了在与生活强关联方面的应用,回应少....
的头像 Les 发表于 11-30 15:26 115次 阅读
失语者的未来:无声语音的数字发声

2020年中国硬科技创新发展进展解读

如今,人类社会已经进入到第四次工业革命阶段,为了在未来竞争格局中抢占有利地位,世界各国均非常注重科技....
的头像 电子发烧友网工程师 发表于 11-30 15:16 252次 阅读
2020年中国硬科技创新发展进展解读

TCL电子互联网业务突飞猛进,搭建AI×IoT服务平台

国内智能显示市场再起波澜,在5G带来的万物互联IoT以及第三次人工智能浪潮中,互联网电视和智能显示行....
的头像 Les 发表于 11-30 15:10 316次 阅读
TCL电子互联网业务突飞猛进,搭建AI×IoT服务平台

人工智能和机器人能否接管世界?

一直以来,关于奇点事件以及同人工智能接管世界的讨论层出不穷——自己的电脑会在不远的未来取代杰夫·贝佐....
的头像 如意 发表于 11-30 15:07 259次 阅读
人工智能和机器人能否接管世界?

处理好人机关系,才能更好地享受AI的红利

近日,人脸识别成为售楼处标配的新闻上了热搜,将个人信息安全问题推上舆论的风口浪尖,乃至有人戏言要戴头....
的头像 如意 发表于 11-30 14:58 141次 阅读
处理好人机关系,才能更好地享受AI的红利

中国联通与高校在人工智能、5G等方面成立联合实验室

11月30日,中国联通2020年科技创新大会在北京举行。会上,中国联通与中国人民大学、北京邮电大学、....
的头像 璟琰乀 发表于 11-30 14:49 187次 阅读
中国联通与高校在人工智能、5G等方面成立联合实验室

肇观电子AI视觉芯片N161的性能如何?

2016年,Intel芯片设计将触角伸到了计算机视觉领域,收购了计算机视觉公司Movidius。 M....
的头像 我快闭嘴 发表于 11-30 14:33 270次 阅读
肇观电子AI视觉芯片N161的性能如何?

解析英伟达叱咤AI时代的两大利器

在英伟达于2000年收购3DFX,以及AMD在2006年收购ATI之后,桌面GPU这个市场本来就已经....
的头像 我快闭嘴 发表于 11-30 14:32 350次 阅读
解析英伟达叱咤AI时代的两大利器

中国联通与多个高校成立联合实验室

11月30日,中国联通2020年科技创新大会在北京举行。会上,中国联通与中国人民大学、北京邮电大学、....
的头像 如意 发表于 11-30 14:28 198次 阅读
中国联通与多个高校成立联合实验室

全球机器人消费市场高度集中,新加坡和韩国装机密度领先全球

目前,全球工业机器人市场处于长期稳健增长阶段,但2019年全球经济下行和贸易摩擦给机器人行业带来了一....
的头像 牵手一起梦 发表于 11-30 14:01 150次 阅读
全球机器人消费市场高度集中,新加坡和韩国装机密度领先全球

中兴通讯AI扩容解决方案,大数据+AI+云计算赋能网络规划新时代

无线网络通讯进入高速发展期,运营商客户越来越重视网络发展质量和市场开拓。随着在线用户数的增加和网络业....
的头像 牵手一起梦 发表于 11-30 13:55 233次 阅读
中兴通讯AI扩容解决方案,大数据+AI+云计算赋能网络规划新时代

商汤科技成为全球第三大机器视觉领域应用市场

工业AI视觉平台服务商阿丘科技宣布完成2000万美元B轮融资。本轮融资由襄禾资本领投,老股东DCM、....
的头像 lhl545545 发表于 11-30 12:04 620次 阅读
商汤科技成为全球第三大机器视觉领域应用市场

李彦宏提出百度公司未来三点战略方向

百度发布其截至9月30日Q3季度财务报表(未审计)其中总营收达282亿元,净利润为137亿元,营收和....
的头像 lhl545545 发表于 11-30 11:38 649次 阅读
李彦宏提出百度公司未来三点战略方向

AI探索与NN隐藏层(Hidden Layer)的比喻

1. 前言         AI有兩項重要的行為,就是:1) 利用(Exploitation);2)探索(Exploration)。...
发表于 11-27 10:40 303次 阅读
AI探索与NN隐藏层(Hidden Layer)的比喻

学习AI的出发点:如何提取特征(Feature)

       AI機器學習(Machine Learning)的基礎活動之一就是:提取特徵(Feature extraction)。在本文裡,...
发表于 11-27 10:27 404次 阅读
学习AI的出发点:如何提取特征(Feature)

《来来来,成为AI的良师益友》高焕堂老师AI学习资料大集合

简介:AI学习:电脑+AI(让电脑拥有学习能力)基础框架搭建;如何建立人机界面---基于Excel+Python;观察事物,提取特征...
发表于 11-26 11:57 202次 阅读
《来来来,成为AI的良师益友》高焕堂老师AI学习资料大集合

诠释AI的两大特征:黑盒子与不确定性

       AI很擅长于寻找大数据中的规律,其亮丽的表现已经令人类叹为观止。在学习AI时,如果您能深刻掌握...
发表于 11-26 10:45 0次 阅读
诠释AI的两大特征:黑盒子与不确定性

为什么AI设计师要特别区分:相关性 VS. 因果性呢?

       由於AI已具有强大的瞬间探索复杂现况下的相关性及其规律,善于应用AI这种远远超越人类的能力,可...
发表于 11-26 10:21 0次 阅读
为什么AI设计师要特别区分:相关性 VS. 因果性呢?

请问FPGA在人工智能时代有哪些独特的优势?

  什么是暗硅效应   FPGA:解决暗硅效应的有效途径   使用FPGA的独特优势是什么   什么是Catapult项目   ...
发表于 11-26 06:36 0次 阅读
请问FPGA在人工智能时代有哪些独特的优势?

【内容精选】VR/AR产业联盟主席高焕堂老师系列直播分享

高焕堂老师系列直播:直播简介及亮点: 在开发多机器人的协同应用时,各机器人产品往往来自不同的厂商,各厂商也常推出针对自...
发表于 11-25 15:05 101次 阅读
【内容精选】VR/AR产业联盟主席高焕堂老师系列直播分享

如何把AI(智能)移植到手机或机器人上?

1. 前言 在本文里,我提出了移植策略。在AI领域里,第一阶段的移植,就是把AI模型移植到非常普及的Android手机里,放在里,...
发表于 11-25 11:37 101次 阅读
如何把AI(智能)移植到手机或机器人上?