如何让人工智能摆脱算法偏见

Thundersoft中科创达 2018-11-15 14:57 次阅读

人们都曾看过电影里机器控制了世界而人类被毁灭的场景。好在这些电影只是娱乐性的,现实世界是不会发生的。然而一个更应该关注的问题是:算法偏见。

1

什么是“算法偏见”

所谓“算法偏见”是指在看似没有恶意的程序设计中带着设计者的偏见,或者所采用的数据是带有偏见的。结果当然是带来了各种问题,例如,被曲解的谷歌搜索,合格的考生无法进入医学院就学,聊天机器人在推特上散布种族主义和性别歧视信息等。

算法偏见造成的最棘手的问题是,从事编程的工程师即使主观上没有种族主义、性别、年龄歧视等倾向,也有可能造成偏见。

人工智能(AI,Artificial Intelligence)本质上就是为了自学而设计的,有时它的确会出错。当然,人们可以在事后做出调整,但最好的解决办法是一开始就防止它发生。

具有讽刺意味的是人工智能最令人兴奋的可能性之一就是能够搭建一个没有人类偏见的世界。比如当涉及到招聘时,一种算法可以让男性和女性在申请同一份工作时获得平等的待遇,或者在警务工作中避免种族偏见的发生。

不管人们是否意识到,人类创造的机器确实反映了人们怎样是看待世界的,因此也会有类似的刻板印象和世界观。由于人工智能越来越深入到生活中,人类必须重视它。

2

算法偏见的分类

人工智能面临的另外一个挑战是,偏见不是以一种形式出现的,而是有各种类型的。这包括交互偏见、潜意识偏见、选择偏见、数据驱动的偏见和确认偏见。

“交互偏见”是指用户由于自己与算法的交互方式而使算法产生的偏见。当机器被设置向周围环境学习时,它们不能决定要保留或者丢弃哪些数据,什么是对的,什么是错的。

相反,它们只能使用提供给它们的数据——不论是好的、坏的,还是丑的,并在此基础上做出决策。前面提到的聊天机器人Tay便是这类偏见的一个例子。它是受到一个网络聊天社区的影响而变得偏种族主义了。

“潜意识偏见”是指算法错误地把观念与种族和性别等因素联系起来。例如,当搜索一名医生的图像时,人工智能会把男性医生的图像呈现给一名女性,或者在搜索护士时反过来操作。

“选择偏见”是指用于训练算法的数据被倾向性地用于表示一个群体或者分组,从而使该算法对这些群体有利,而代价是牺牲其他群体。以招聘为例,如果人工智能被训练成只识别男性的简历,那么女性求职者在申请过程中就很难成功。

“数据驱动的偏见”是指用来训练算法的原始数据已经存在偏见了。机器就像孩子一样:他们不会质疑所给出的数据,而只是寻找其中的模式。如果数据在一开始就被曲解,那么其输出的结果也将反映出这一点。

最后一类是“确认偏见”,这类似于数据驱动的偏见,偏向于那些先入为主的信息。它影响人们怎样收集信息,以及人们怎样解读信息。例如,如果自己觉得8月份出生的人比其他时候出生的更富有创造性,那就会偏向于寻找强化这种想法的数据。

3

算法偏见并不可怕

当我们了解到这么多偏见的例子渗入到人工智能系统时,似乎会引起我们的担忧。但重要的是要认清事实,记住这个世界本身就是有偏见的,因此,在某些情况下,人们对从人工智能中得到的结果并不奇怪。

然而,并不应该如此,人们需要一个对人工智能算法和系统进行测试和验证的过程,以便在开发期间和部署之前及早发现偏见。

与人类不同,算法不能撒谎,因此,如果结果是有偏见的,那一定有原因:和它得到的数据有关。

人类可以撒谎去解释不雇佣某人的原因,但人工智能不能。而采用算法,就有可能知道什么时候会出现偏见,并对其进行调整,以便将来能克服这些问题。

人工智能会学习,也会犯错。通常情况下,只有在实际环境中使用算法后才能发现任何内在的偏见,因为这些偏见在实践中被放大了。

不应把算法看成是一种威胁,而是解决任何偏见问题的好机会,并能在必要的时候加以纠正。

可以通过开发系统来发现有偏见的决策,并及时采取措施。与人类相比,人工智能特别适合采用贝叶斯(Bayesian)方法来确定某种假设的概率,从而消除所有人类偏见的可能性。这比较复杂,但是可行的,特别是考虑到人工智能的重要性(在以后几年里只会越来越重要)。

随着人工智能系统的建立和部署,非常重要的一点是必须理解它们是怎样工作的,只有这样才能通过设计让它们具有意识,避免将来出现偏见问题。

不要忘记,尽管人工智能发展非常迅速,但仍处于起步阶段,还有很多值得学习和改进的地方。这种调整会持续一段时间,在此期间,人工智能会变得更聪明,将有越来越多的方法来克服偏见等问题。

技术行业总是在质疑机器是怎样工作的,为什么这样工作。虽然大部分人工智能是在黑盒中运作的,决策过程是隐藏的,但人工智能的透明度是建立信任和避免误解的关键。

4

消除偏见的策略

目前有很多研究都在进行帮助鉴别偏见的产生,例如Fraunhofer Heinrich Hertz研究所开展的工作。他们正在研究识别不同类型的偏见,例如前面提到的偏见,还有一些更“低级”的偏见,以及人工智能训练和发展过程中可能出现的问题。

另外还需要考虑的是无监督训练。目前大多数人工智能模型是通过有监督训练生成的,采集的是明显带有人类选择的标签数据。

而对于无监督训练,使用不具任何标签的数据,算法必须要通过自己对数据进行分类、识别和汇集。

虽然这种方法通常比有监督学习慢很多数量级,但这种方法限制了人的参与。

因此,能够消除任何有意识或者无意识的人为偏见,从而避免对数据产生影响。

在底层也有很多事情可以改进。在开发新产品、网站或者功能时,技术公司需要各方面的人员。

多样性会给算法提供各种各样的数据,而这些数据也是有偏见的。如果能有一些人去分析输出结果,那么发现偏见的可能性会更高。

此外,还可以发挥算法审计的作用。2016年,卡耐基梅隆研究小组在网络招聘广告中发现了算法偏见。

当他们列出了在网上寻找工作的人员后,谷歌广告显示,男性在高收入工作中所占比例是女性的近六倍。该小组的结论是,进行内部审计将有助于减少这类偏见。

总之,机器偏见来自人的偏见。人工智能的偏见有多种方式的表现,但实际上,它只有一个来源:人类自己。

处理这一问题的关键在于技术公司、工程师和开发人员,他们都应该采取有效的措施来防止无意中创建一种带有偏见的算法。通过进行算法审计并始终保持透明度,就有信心让人工智能算法远离偏见。

原文标题:行业 | 让人工智能摆脱偏见

文章出处:【微信号:THundersoft,微信公众号:Thundersoft中科创达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

WorkVisual的安装和操作学习手册免费下载

本文档的主要内容详细介绍的是WorkVisual的安装和操作学习手册免费下载。

发表于 12-13 17:12 0次 阅读
WorkVisual的安装和操作学习手册免费下载

首届国际中学生人工智能交流展示会,商汤布局人工智能教育生态的重要一环

对于参加的学生来说,这次的交流展示会不仅是展露自己才华的大舞台,同时也是提升自我的好机会,因为在整个....

的头像 商汤科技 发表于 12-13 17:01 34次 阅读
首届国际中学生人工智能交流展示会,商汤布局人工智能教育生态的重要一环

将智能驾驶技术带入新的领域 以下三个方面可以行得通

从人工智能诞生之初,科学家们就一直在探寻能够将人工智能落地的实际应用场景,从能够和人类下棋的“深蓝”....

发表于 12-13 16:58 5次 阅读
将智能驾驶技术带入新的领域 以下三个方面可以行得通

招聘 全职 嵌入式硬件工程师 北京五道口机器人公司

一、职位描述 一、职位要求 1)负责项目从立项到样机再到量产,完成全部的电子电器及控制的设计、选型、调试、测试、完善电子...

发表于 12-13 16:40 20次 阅读
招聘 全职 嵌入式硬件工程师  北京五道口机器人公司

张钧波:《时空深度学习在智慧城市中的应用》的精彩演讲

京东城市是京东集团一大新兴的业务板块,包括京东集团一级事业部——城市计算事业部、集团顶级研究院-京东....

的头像 中国人工智能学会 发表于 12-13 16:33 28次 阅读
张钧波:《时空深度学习在智慧城市中的应用》的精彩演讲

MiR500打造内部物流自动化工厂

全球农机设备供应商格兰集团选择采用安静且无需人工操作的现代化机器人技术来完成这一项工作。通过部署Mi....

的头像 OFweek工控 发表于 12-13 16:21 34次 阅读
MiR500打造内部物流自动化工厂

亚马逊机器人失控 仓储智能自动化成必然必然

涉事仓库占地12万平方米,其中有3千人类员工,但更主要的劳动力是各式各样的机器人。随着仓储设备投入市....

的头像 工控头条 发表于 12-13 16:20 124次 阅读
亚马逊机器人失控 仓储智能自动化成必然必然

脑科学与人工智能带来的机遇和挑战在哪里

脑,尤其是人脑,构造非常复杂。脑有上百亿的神经元,还有分支等连接起来,是一个非常复杂的结构。

的头像 中国人工智能学会 发表于 12-13 15:44 33次 阅读
脑科学与人工智能带来的机遇和挑战在哪里

知识与智能 从医考引擎走向智慧医疗

本次论坛覆盖到了人工智能+的几个方面,包括智慧医疗、智慧金融、智慧司法和商业智能。我的题目《知识与智....

的头像 中国人工智能学会 发表于 12-13 15:41 47次 阅读
知识与智能 从医考引擎走向智慧医疗

预测2019年台湾ICT市场十大趋势

随着数字转型(DX)的步伐加快并呈指数级成长,企业正自上而下地重塑企业的发展。

的头像 半导体观察IC 发表于 12-13 15:34 38次 阅读
预测2019年台湾ICT市场十大趋势

物联网将成为第四次工业革命的基石

据估计,到2020年,将有500亿台设备连接到互联网。DHL和Cisco发布的一份白皮书指出,通过改....

发表于 12-13 15:23 15次 阅读
物联网将成为第四次工业革命的基石

机器人视觉系统该怎么选?

这部分属于成像器件,通常的视觉系统都是由一套或者多套这样的成像系统组成,如果有多路相机,可能由图像卡....

的头像 机器人在线订阅号 发表于 12-13 15:08 84次 阅读
机器人视觉系统该怎么选?

史河科技(Robot++)完成2000万元Pre-A轮投资,“HML”系列高空作业机器人

此类高空爬壁机器人主要是解决人工操作的安全风险问题,不过高空爬壁机器人尚是蓝海市场,国内外出货量都不....

的头像 机器人前沿 发表于 12-13 15:03 74次 阅读
史河科技(Robot++)完成2000万元Pre-A轮投资,“HML”系列高空作业机器人

《哈佛商业评论》发布“全球最受关注的十大AI领军人物”榜单

目前,百度人工智能产品已经开始显现规模效应。截至2018年9月,百度家族20多个APP实现了9.9亿....

的头像 天津机器人 发表于 12-13 15:00 70次 阅读
《哈佛商业评论》发布“全球最受关注的十大AI领军人物”榜单

入局仓储机器人,阿里、京东两大电商巨头的落地情况

2017年以来,国内企业从物流巨头到创新公司都在积极布局智能仓储机器人。根据新战略机器人产业研究所最....

的头像 机器人创新生态 发表于 12-13 14:56 66次 阅读
入局仓储机器人,阿里、京东两大电商巨头的落地情况

如果做得好 人工智能可以帮助我们学习如何成为更好的人

尽管现在有许多工作都非常适合由人工智能应用来做,但很显然,处理人类情感可能和其中任何一种都不同。人工....

发表于 12-13 14:47 14次 阅读
如果做得好 人工智能可以帮助我们学习如何成为更好的人

探析安防机器人的前世今生

除了顶级的BAT,特别是马云的阿里巴巴,这是很多中国企业战略思维最薄弱的地方,更是大疆等传统企业总是....

的头像 机器人前沿 发表于 12-13 14:44 52次 阅读
探析安防机器人的前世今生

百度在提出的人工智能(AI)专利申请件数拿下第一

中国近年AI发展迅速,专利申请数已超过美国。但以专利合作条约(Patent Cooperation ....

的头像 DIGITIMES 发表于 12-13 14:32 60次 阅读
百度在提出的人工智能(AI)专利申请件数拿下第一

Velox机器人用起伏推进系统有效地滑过水面

多年来,我们已经看到了许多有趣的机器人设计,这些设计允许冒险的机器在艰难的地形上进行协商,但很少有来....

的头像 天津机器人 发表于 12-13 14:29 64次 阅读
Velox机器人用起伏推进系统有效地滑过水面

通过人工智能改进数据中心设施的性能

对于每个数据中心来说,应用程序看起来可能不同,但是随着人工智能成为智能增长和创新的中心,这些集成的价....

的头像 1号机器人网 发表于 12-13 14:19 90次 阅读
通过人工智能改进数据中心设施的性能

刚迈入成长期的国产机器人该何去何从

由于技术与市场问题,国产机器人与外资巨头相比,未来一段时间必须要保证价格优势才能生存下去。但是情况并....

的头像 天津机器人 发表于 12-13 14:04 71次 阅读
刚迈入成长期的国产机器人该何去何从

电子产品设计周期呈现不断缩短趋势,EDA厂商又是如何帮到他们的呢?

实际上,新思科技已经推出能在供应链中轻松共享架构性能要求的虚拟原型关键技术。例如最近发布的Platf....

的头像 FPGA开发圈 发表于 12-13 13:44 46次 阅读
电子产品设计周期呈现不断缩短趋势,EDA厂商又是如何帮到他们的呢?

人工智能渗入我们生活 AI开始进入技术主战场

从人工智能产业链来看,中国在基础层的发展还相对薄弱,而技术层的计算机视觉、语音识别和自然语言处理是中....

发表于 12-13 11:24 39次 阅读
人工智能渗入我们生活 AI开始进入技术主战场

人工智能时代即将到来 我们需深度思考的问题将变得更多

由于人口基数的原因,大数据的来源及应用在中国可能有着更加现实的意义和更快的发展速度,也就意味着更多的....

发表于 12-13 10:56 19次 阅读
人工智能时代即将到来 我们需深度思考的问题将变得更多

阿里京东战略布局机器人餐厅

除了顶级的BAT,特别是马云的阿里巴巴,这是很多中国企业战略思维最薄弱的地方,更是大疆等传统企业总是....

的头像 机器人前沿 发表于 12-13 10:55 228次 阅读
阿里京东战略布局机器人餐厅

预计2019年智能音箱价值70亿美元 成为历史上价值增长最快的互联设备

近日,据外媒报道,德勤对2019年技术、媒体和电信进行了预测。预测内容显示,2019年智能音箱价值7....

发表于 12-13 10:51 32次 阅读
预计2019年智能音箱价值70亿美元 成为历史上价值增长最快的互联设备

电视大屏加人工智能技术相互创造价值

互联网的发展中经历了多次重大的变革。第一次是以PC为载体的变革,第二次是以移动手机端为载体的变革,第....

的头像 流媒体网 发表于 12-13 10:35 111次 阅读
电视大屏加人工智能技术相互创造价值

让AI参与分娩 只能作为辅助者而不是决策者

人们越来越多地要求像Alexa这样的虚拟助手,仰望天空,看看你是否需要一把雨伞,他们这样做可能是明智....

发表于 12-13 10:27 24次 阅读
让AI参与分娩 只能作为辅助者而不是决策者

服务机器人:便利店Lawson在东京测试炸鸡机器人

近日,招商银行在上线的新版网上托管银行系统中,使用了智能机器人参与业务处理,率先实现RPA(即机器人....

的头像 机器人大讲堂 发表于 12-13 10:23 98次 阅读
服务机器人:便利店Lawson在东京测试炸鸡机器人

中科大发布“机器人柔性手爪” 有望降低成本使其加速应用于大众生活

当机器人拥有了与人类一样灵巧的双手,提供精细化服务就成为可能。据报道,12月11日,中国科学技术大学....

发表于 12-13 10:21 15次 阅读
中科大发布“机器人柔性手爪” 有望降低成本使其加速应用于大众生活

具有国资背景的机构已抢先一步 捷足先登机器人底盘产业

BATJ们并非杀入机器人底盘产业的先锋,具有国资背景的机构已抢先一步,捷足先登。

发表于 12-13 10:17 130次 阅读
具有国资背景的机构已抢先一步 捷足先登机器人底盘产业

柔性机器人作为一个新兴领域 开始获得越来越广泛的关注

柔性机器人作为一个新兴领域,从机械学、物理学到生物学,都已获得越来越广泛的关注。然而具有刚性对应物的....

发表于 12-13 10:12 13次 阅读
柔性机器人作为一个新兴领域 开始获得越来越广泛的关注

医护机器人产值将破千亿 但尚有成本和性能的挑战

然而平均生命延长,健康余命却未必会跟着延长,机能退化与慢性疾病缠身的老人会愈来愈多,医护需求连带拉高....

发表于 12-13 10:05 105次 阅读
医护机器人产值将破千亿 但尚有成本和性能的挑战

我们正在进入“活产品”时代,产品价值构成的巨变

这个时代将带来产品价值构成的巨大转变:不到四十年前,产品的价值主要由机电元件决定。今天,典型硬件产品....

的头像 人工智能学家 发表于 12-13 10:02 137次 阅读
我们正在进入“活产品”时代,产品价值构成的巨变

人工智能产业发展的三大热点和下一阶段的趋势预期浅析

人工智能在上一个五年的发展得益于什么?其下一阶段的发展程度取决于什么?近日,《哈佛商业评论》中文版联....

发表于 12-13 09:57 25次 阅读
人工智能产业发展的三大热点和下一阶段的趋势预期浅析

关于人工智能在保险行业的挑战与展望浅析

人工智能的发展对保险行业的影响无疑是巨大的。近几年来,越来越多的保险公司正加大对人工智能技术的研发投....

发表于 12-13 09:53 18次 阅读
关于人工智能在保险行业的挑战与展望浅析

那些通过计算机新技能的先驱者以及他们取得的成就

Mehdi不会编程,她身边的成年人可以给予她鼓励,但在专业知识方面却无法给予帮助;她的学校没有提供计....

的头像 重庆人工智能 发表于 12-13 09:53 120次 阅读
那些通过计算机新技能的先驱者以及他们取得的成就

AI应用渗透率依然偏低 企业智能变革势在必行

人工智能技术的飞速发展正对各行各业带来深远影响,AI已被视为企业提升运营效能、应对市场竞争的必经之路....

发表于 12-13 09:45 18次 阅读
AI应用渗透率依然偏低 企业智能变革势在必行

亚马逊AWS占全球云市场第一 Alexa人工智能无处不在

物联网设备透过云端实现跨行业和跨设备互联互通,所收集数据除了在边缘侧处理,还需要上传至云端,云端作为....

发表于 12-13 09:32 352次 阅读
亚马逊AWS占全球云市场第一 Alexa人工智能无处不在

西北首批工商智能办照机器人上岗 轻松实现业务咨询及登记注册办理

近日,西北首批工商智能办照机器人在高新区政务服务中心正式“上岗”。能独立办理个体工商户、一人有限公司....

发表于 12-13 09:28 14次 阅读
西北首批工商智能办照机器人上岗 轻松实现业务咨询及登记注册办理

富士推出SmartWing机器人系统 工厂到货后立即可以使用

美国伊利诺斯州的富士美国公司将于1月29日至31日在加利福尼亚州圣地亚哥的Apex展会上推出Smar....

发表于 12-13 09:25 20次 阅读
富士推出SmartWing机器人系统 工厂到货后立即可以使用

人工智能在未来战争中的作用

分析了人工智能技术,尤其是智能机器人蜂群可能在未来战争中的应用。

的头像 机器人大讲堂 发表于 12-13 09:23 93次 阅读
人工智能在未来战争中的作用

概述美军采用自主系统和人工智能带来的潜在影响

美国国会研究服务处(CRS)发布题为《美国地面部队机器人和自主系统及人工智能:国会应考虑的问题》的报....

的头像 人工智能快报 发表于 12-13 09:11 118次 阅读
概述美军采用自主系统和人工智能带来的潜在影响

英特尔在人工智能大会期间正式发布了英特尔®神经计算棒二代

借助英特尔®NCS 2的功能提升,计算机视觉和人工智能可以轻松地部署到物联网和边缘设备原型上。无论开....

的头像 贸泽电子设计圈 发表于 12-13 09:10 132次 阅读
英特尔在人工智能大会期间正式发布了英特尔®神经计算棒二代

全球最大规模的神经形态超级计算机近日正式开机

受欧盟人脑计划支持的目前全球最大规模的神经形态超级计算机近日正式开机。

的头像 重庆人工智能 发表于 12-13 09:04 127次 阅读
全球最大规模的神经形态超级计算机近日正式开机

如何避免AI投资的那些坑

创新工场就是国内最为关注人工智能领域的投资机构之一。

的头像 人工智能领域 发表于 12-13 09:02 97次 阅读
如何避免AI投资的那些坑

机器人行业,我从哪里入手

各位大神们好,我是刚毕业的大学生。我想进入机器人行业,但不知道从什么地方入手。你们能不能给我指点一下...

发表于 12-12 18:12 25次 阅读
机器人行业,我从哪里入手

机器人DIY教程:PVCBOT叠行者·尺蠖小车制作教程阻容1号

发表于 12-12 17:26 33次 阅读
机器人DIY教程:PVCBOT叠行者·尺蠖小车制作教程阻容1号

在Python中调用Java扩展包HanLP测试记录

最近在研究中文分词及自然语言相关的内容,关注到JAVA环境下的HanLP,HanLP是一个致力于向生产环境普及NLP技术的...

发表于 12-12 16:27 219次 阅读
在Python中调用Java扩展包HanLP测试记录

解读机器人的几大避障技术

随着机器人在工厂、仓库、酒店、商场、餐厅等环境中的使用,人们对机器人的移动能力越为重视,以至于避障成为一个极为关键且...

发表于 12-12 16:04 385次 阅读
解读机器人的几大避障技术

前百度科学家畅谈人工智能未来

直播链接: 简介: 前两期的直播,主要介绍了计算机视觉的历史和时代背景,并简介了计算机视觉的技术基础,这一讲,将主要介...

发表于 12-11 18:41 104次 阅读
前百度科学家畅谈人工智能未来

家用扫地机器人哪个牌子好?90后青年必备良品推荐

​ 对于每天奔波在职场中的年轻人来说,每天早出晚归,几乎没有太多的私人时间,如果还要让清洁卫生占据所剩不多的休息时...

发表于 12-11 11:50 171次 阅读
家用扫地机器人哪个牌子好?90后青年必备良品推荐

人工智能、大数据、物联网+医疗是这样落地的(一)

近日,为促进和规范医院信息化建设,国家卫健委制定了《全国医院信息化建设标准与规范(试行)》下简称《建设标准》。文件包括5...

发表于 12-10 20:12 72次 阅读
人工智能、大数据、物联网+医疗是这样落地的(一)

除了机器人行业,激光雷达还能应用于哪些领域?

历经40余年的发展,激光雷达技术已从最初的激光测距技术,逐步发展了激光跟踪、激光测速、激光扫描成像、激光多普勒成像等技术,...

发表于 12-10 14:55 134次 阅读
除了机器人行业,激光雷达还能应用于哪些领域?

DONI家用智能扫地机优势介绍

  当下中国社会飞速变化,人民生活水平不断提升,时代的进步在不断地推动家用电器的更新换代,以往我们热衷于购买手持吸尘器...

发表于 12-07 11:08 492次 阅读
DONI家用智能扫地机优势介绍