【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

如何让人工智能摆脱算法偏见

Thundersoft中科创达 2018-11-15 14:57 次阅读

人们都曾看过电影里机器控制了世界而人类被毁灭的场景。好在这些电影只是娱乐性的,现实世界是不会发生的。然而一个更应该关注的问题是:算法偏见。

1

什么是“算法偏见”

所谓“算法偏见”是指在看似没有恶意的程序设计中带着设计者的偏见,或者所采用的数据是带有偏见的。结果当然是带来了各种问题,例如,被曲解的谷歌搜索,合格的考生无法进入医学院就学,聊天机器人在推特上散布种族主义和性别歧视信息等。

算法偏见造成的最棘手的问题是,从事编程的工程师即使主观上没有种族主义、性别、年龄歧视等倾向,也有可能造成偏见。

人工智能(AI,Artificial Intelligence)本质上就是为了自学而设计的,有时它的确会出错。当然,人们可以在事后做出调整,但最好的解决办法是一开始就防止它发生。

具有讽刺意味的是人工智能最令人兴奋的可能性之一就是能够搭建一个没有人类偏见的世界。比如当涉及到招聘时,一种算法可以让男性和女性在申请同一份工作时获得平等的待遇,或者在警务工作中避免种族偏见的发生。

不管人们是否意识到,人类创造的机器确实反映了人们怎样是看待世界的,因此也会有类似的刻板印象和世界观。由于人工智能越来越深入到生活中,人类必须重视它。

2

算法偏见的分类

人工智能面临的另外一个挑战是,偏见不是以一种形式出现的,而是有各种类型的。这包括交互偏见、潜意识偏见、选择偏见、数据驱动的偏见和确认偏见。

“交互偏见”是指用户由于自己与算法的交互方式而使算法产生的偏见。当机器被设置向周围环境学习时,它们不能决定要保留或者丢弃哪些数据,什么是对的,什么是错的。

相反,它们只能使用提供给它们的数据——不论是好的、坏的,还是丑的,并在此基础上做出决策。前面提到的聊天机器人Tay便是这类偏见的一个例子。它是受到一个网络聊天社区的影响而变得偏种族主义了。

“潜意识偏见”是指算法错误地把观念与种族和性别等因素联系起来。例如,当搜索一名医生的图像时,人工智能会把男性医生的图像呈现给一名女性,或者在搜索护士时反过来操作。

“选择偏见”是指用于训练算法的数据被倾向性地用于表示一个群体或者分组,从而使该算法对这些群体有利,而代价是牺牲其他群体。以招聘为例,如果人工智能被训练成只识别男性的简历,那么女性求职者在申请过程中就很难成功。

“数据驱动的偏见”是指用来训练算法的原始数据已经存在偏见了。机器就像孩子一样:他们不会质疑所给出的数据,而只是寻找其中的模式。如果数据在一开始就被曲解,那么其输出的结果也将反映出这一点。

最后一类是“确认偏见”,这类似于数据驱动的偏见,偏向于那些先入为主的信息。它影响人们怎样收集信息,以及人们怎样解读信息。例如,如果自己觉得8月份出生的人比其他时候出生的更富有创造性,那就会偏向于寻找强化这种想法的数据。

3

算法偏见并不可怕

当我们了解到这么多偏见的例子渗入到人工智能系统时,似乎会引起我们的担忧。但重要的是要认清事实,记住这个世界本身就是有偏见的,因此,在某些情况下,人们对从人工智能中得到的结果并不奇怪。

然而,并不应该如此,人们需要一个对人工智能算法和系统进行测试和验证的过程,以便在开发期间和部署之前及早发现偏见。

与人类不同,算法不能撒谎,因此,如果结果是有偏见的,那一定有原因:和它得到的数据有关。

人类可以撒谎去解释不雇佣某人的原因,但人工智能不能。而采用算法,就有可能知道什么时候会出现偏见,并对其进行调整,以便将来能克服这些问题。

人工智能会学习,也会犯错。通常情况下,只有在实际环境中使用算法后才能发现任何内在的偏见,因为这些偏见在实践中被放大了。

不应把算法看成是一种威胁,而是解决任何偏见问题的好机会,并能在必要的时候加以纠正。

可以通过开发系统来发现有偏见的决策,并及时采取措施。与人类相比,人工智能特别适合采用贝叶斯(Bayesian)方法来确定某种假设的概率,从而消除所有人类偏见的可能性。这比较复杂,但是可行的,特别是考虑到人工智能的重要性(在以后几年里只会越来越重要)。

随着人工智能系统的建立和部署,非常重要的一点是必须理解它们是怎样工作的,只有这样才能通过设计让它们具有意识,避免将来出现偏见问题。

不要忘记,尽管人工智能发展非常迅速,但仍处于起步阶段,还有很多值得学习和改进的地方。这种调整会持续一段时间,在此期间,人工智能会变得更聪明,将有越来越多的方法来克服偏见等问题。

技术行业总是在质疑机器是怎样工作的,为什么这样工作。虽然大部分人工智能是在黑盒中运作的,决策过程是隐藏的,但人工智能的透明度是建立信任和避免误解的关键。

4

消除偏见的策略

目前有很多研究都在进行帮助鉴别偏见的产生,例如Fraunhofer Heinrich Hertz研究所开展的工作。他们正在研究识别不同类型的偏见,例如前面提到的偏见,还有一些更“低级”的偏见,以及人工智能训练和发展过程中可能出现的问题。

另外还需要考虑的是无监督训练。目前大多数人工智能模型是通过有监督训练生成的,采集的是明显带有人类选择的标签数据。

而对于无监督训练,使用不具任何标签的数据,算法必须要通过自己对数据进行分类、识别和汇集。

虽然这种方法通常比有监督学习慢很多数量级,但这种方法限制了人的参与。

因此,能够消除任何有意识或者无意识的人为偏见,从而避免对数据产生影响。

在底层也有很多事情可以改进。在开发新产品、网站或者功能时,技术公司需要各方面的人员。

多样性会给算法提供各种各样的数据,而这些数据也是有偏见的。如果能有一些人去分析输出结果,那么发现偏见的可能性会更高。

此外,还可以发挥算法审计的作用。2016年,卡耐基梅隆研究小组在网络招聘广告中发现了算法偏见。

当他们列出了在网上寻找工作的人员后,谷歌广告显示,男性在高收入工作中所占比例是女性的近六倍。该小组的结论是,进行内部审计将有助于减少这类偏见。

总之,机器偏见来自人的偏见。人工智能的偏见有多种方式的表现,但实际上,它只有一个来源:人类自己。

处理这一问题的关键在于技术公司、工程师和开发人员,他们都应该采取有效的措施来防止无意中创建一种带有偏见的算法。通过进行算法审计并始终保持透明度,就有信心让人工智能算法远离偏见。

原文标题:行业 | 让人工智能摆脱偏见

文章出处:【微信号:THundersoft,微信公众号:Thundersoft中科创达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

新型机器人检测技术助力实时诊断生育风险

最近,研究人员开发了新的机器人传感器技术,能够实时诊断女性的生殖健康问题。
的头像 微流控 发表于 02-23 11:26 313次 阅读
新型机器人检测技术助力实时诊断生育风险

电子科技每日资讯 国内锂电池产品增长56.26% 三星发布折叠屏

移动互联网 2018年我国农村网络零售额1.37万亿元 商务部表示,2018年全国农村网....
的头像 电子发烧友网工程师 发表于 02-23 10:55 793次 阅读
电子科技每日资讯 国内锂电池产品增长56.26% 三星发布折叠屏

攀登深度学习之巅 对AI领域会产生什么深远影响

2018 年,由美国国家能源研究科学计算中心 (NERSC) 与 NVIDIA 组成的联合团队取得了....
的头像 TensorFlow 发表于 02-23 10:54 388次 阅读
攀登深度学习之巅 对AI领域会产生什么深远影响

科技部支持北京建设国家新一代人工智能创新发展

北京市人民政府:《关于申请建设北京国家新一代人工智能创新发展试验区的函》(京政函〔2019〕11号)....
的头像 北京科技政策法规宣讲团 发表于 02-23 10:35 434次 阅读
科技部支持北京建设国家新一代人工智能创新发展

Python社区的指导委员会治理方案引领社区走向何方

Python社区贡献出来的指导委员会治理方案,会带来什么样的变化,会引领社区走向何方呢?拭目以待。
的头像 电子发烧友网工程师 发表于 02-23 10:33 372次 阅读
Python社区的指导委员会治理方案引领社区走向何方

人工智能为百度营收贡献了多少

搜索+信息流的稳定营收贡献之外,百度也期望着AI业务线的更多收入。
的头像 电子发烧友网工程师 发表于 02-23 09:44 743次 阅读
人工智能为百度营收贡献了多少

日本采用机器人调节用工劳动力

按照近期公开的数据,2018年全年日本全国人口持续下降,劳动力严重不足,每100个人可以选择将近16....
发表于 02-23 09:36 189次 阅读
日本采用机器人调节用工劳动力

AGV机器人具备有哪些优势

  预计在未来几年,AGV小车将会出现在各个行业的车间里,AGV小车作为自动化无人搬运,设备能够降低....
发表于 02-23 08:40 34次 阅读
AGV机器人具备有哪些优势

机器人在医疗保健行业的应用优势

国际数据公司IDC近日正式对外发布《医疗保健机器人——福利和机遇报告》,报告指出,2018年亚太地区....
发表于 02-23 08:33 36次 阅读
机器人在医疗保健行业的应用优势

介绍来自华盛顿大学的微型扑翼机器人

在机器人的研究中,人们一直在向大自然学习,扑翼飞行器便是其中典型的一例。扑翼飞行器即通过模拟昆虫以及....
的头像 机器人大讲堂 发表于 02-22 17:28 255次 阅读
介绍来自华盛顿大学的微型扑翼机器人

艾可意欲在无人驾驶洗地机器人行业推出跟小米一样的革命

无人驾驶洗地机一经面世,立即收到很多清洁物业行业同行的关注和追捧,然而,现阶段洗地机价格依然昂贵,无....
的头像 电子发烧友网工程师 发表于 02-22 16:18 497次 阅读
艾可意欲在无人驾驶洗地机器人行业推出跟小米一样的革命

探析未来人工智能的发展趋势

朋友圈最近刷屏大火的一个电影《流浪地球》,作为国产科幻大片,该片的作者这样评价电影:“《流浪地球》确....
的头像 机器人博览 发表于 02-22 16:14 631次 阅读
探析未来人工智能的发展趋势

西安市出台多项政策 将对科技小巨人企业进行奖补

近日,陕西日报报道,西安市出台《西安市科技小巨人企业认定补助办法》(以下简称《办法》),对科技小巨人....
的头像 半导体动态 发表于 02-22 16:10 375次 阅读
西安市出台多项政策 将对科技小巨人企业进行奖补

SIA报告称全球半导体市场去年销售额增长13.7%

根据半导体行业协会(SIA)的数据,去年全球半导体市场的销售额增长了13.7%,总销售额达到了468....
的头像 满天芯 发表于 02-22 15:58 464次 阅读
SIA报告称全球半导体市场去年销售额增长13.7%

物联网有望让零售行业在激烈的市场竞争中脱颖而出

从整体来看,“物联网+新零售”商业模式不仅符合零售行业转型升级的客观需求,也能较好的满足消费升级背景....
发表于 02-22 15:36 61次 阅读
物联网有望让零售行业在激烈的市场竞争中脱颖而出

三星推出新型机器人 进军厨房智能多变

2月20日消息,三星公司展示了一款可以厨房里使用的新型机器人,其中包括一只可以帮助做饭的机械臂。
的头像 天津机器人 发表于 02-22 15:12 373次 阅读
三星推出新型机器人 进军厨房智能多变

你见过不用GPS导航的机器人吗 灵感来源于蚂蚁

前言法国科学家研发出了一种无需GPS的蚂蚁机器人。抛开人造卫星的信号,它们依靠太阳光编织出的“光学罗....
的头像 机器人创新生态 发表于 02-22 14:54 234次 阅读
你见过不用GPS导航的机器人吗 灵感来源于蚂蚁

京东携手乐天为日本提供无人交付解决方案

近日,中国零售巨头京东与全球电子商务巨头乐天达成一项协议,约定未来乐天在日本的无人交付解决方案中将大....
的头像 无人机网 发表于 02-22 10:55 371次 阅读
京东携手乐天为日本提供无人交付解决方案

全球10家引领人工智能革命的公司汇总

"如今,人工智能成为所有科技巨头的核心战略之一,包括微软也正式将人工智能加入公司战略愿景;作为国内传....
的头像 OFweek工控 发表于 02-22 10:53 944次 阅读
全球10家引领人工智能革命的公司汇总

深度学习中的各种卷积网络大家知多少

对于那些听说过却又对它们没有特别清晰的认识的小伙伴们,这篇文章非常值得一读。Kunlun Bai 是....
的头像 人工智能学家 发表于 02-22 09:44 368次 阅读
深度学习中的各种卷积网络大家知多少

2019年人工智能行业市场分析

预计2018年人工智能市场规模将达339亿元,并预测在2019、2020年人工智能市场规模将达500....
的头像 AI人工智能D1net 发表于 02-22 09:40 317次 阅读
2019年人工智能行业市场分析

现代观念下机器学习的基础是什么

我们正处在人工智能革命的过程中,越来越多的人开始认识到人工智能的强大力量。在这篇访谈中,微软剑桥研究....
的头像 电子发烧友网工程师 发表于 02-22 09:38 349次 阅读
现代观念下机器学习的基础是什么

盘点场景碎片化对智能安防产业带来的影响

近几年来,人工智能为安防产业带来了丰富的想象力,安防+AI的组合应用带来了传统安防功能价值的颠覆性变....
的头像 安全自动化 发表于 02-22 09:28 299次 阅读
盘点场景碎片化对智能安防产业带来的影响

AIoT时代信息安全问题凸显 人工智能+安全芯片成为技术趋势

人工智能+物联网(AIoT)时代人们的信息安全将受到更大挑战。以人(PC或智能手机)为节点的信息网络....
发表于 02-22 09:08 110次 阅读
AIoT时代信息安全问题凸显 人工智能+安全芯片成为技术趋势

MWC19巴塞罗那大会开幕在即

MWC19巴塞罗那大会开幕在即!下周一,我们就将迎来每年整个科技行业都屏息等待的全球盛会,从人工智能....
的头像 C114通信网 发表于 02-22 08:48 445次 阅读
MWC19巴塞罗那大会开幕在即

知乎热议、路数偏“冷”的德国公司,何以傲视全球?

Rutronik全球员工约为1700人,在欧洲分销市场排名第三,在全球分销市场排名第十一。
的头像 发表于 02-22 08:34 1293次 阅读
知乎热议、路数偏“冷”的德国公司,何以傲视全球?

请问做个可移动式机器臂浇花机器人用什么开发板合适?

想用stm32系列的单片机做个可移动小车,上面搭载两个机械臂(用于浇花),用什么开发板合适?还需要可以用wifi进行操控。还有,选...
发表于 02-22 06:35 14次 阅读
请问做个可移动式机器臂浇花机器人用什么开发板合适?

小米发布4寸屏触屏音箱 小米9 SE的消息公布

近日消息得知,在小米9这款智能手机进行发布之后,小米又将推出一款尺寸大小与小米6相接近的小屏旗舰机—....
的头像 牵手一起梦 发表于 02-21 16:57 961次 阅读
小米发布4寸屏触屏音箱 小米9 SE的消息公布

“人工智能医生”会取代人类医生吗?

“人工智能医生”究竟是如何“思考”的?以慢病管理为例,看似简单的“百分比”,背后其实有一整套算法模型....
的头像 青岛科技通 发表于 02-21 16:38 502次 阅读
“人工智能医生”会取代人类医生吗?

三星新推多款智能产品

近日,三星公司展示了多项新产品和新科技,包括厨房机器人、清洁机器人等。厨房机器人是一款可以帮助烹饪的....
的头像 机器人技术与应用 发表于 02-21 16:31 388次 阅读
三星新推多款智能产品

日本将斥巨资打造新一代超级计算机

据悉,日本将启动下一代国产超级计算机计划,日本官方和民间企业将为该计划投入约1300亿日元(约79亿....
的头像 机器人技术与应用 发表于 02-21 16:28 332次 阅读
日本将斥巨资打造新一代超级计算机

解读2019年制造业的发展趋向

推荐语:2019年制造业发展情况如何?面对新形势新要求,应该怎么做?制造业与服务业融合发展不是简单的....
的头像 智能制造 发表于 02-21 16:18 273次 阅读
解读2019年制造业的发展趋向

人工智能如何推演城市未来

什么样城市更加智慧?未来的新型智慧城市是什么样子?面对在城市发展过程中各种矛盾不断涌现,智慧城市的规....
的头像 机器人博览 发表于 02-21 16:08 438次 阅读
人工智能如何推演城市未来

人工智能并不是一帆风顺 需要进一步发展

众所周知,近年来人工智能(AI)在商业中的重要性得到快速增长,以至于它现在已成为关键技术的流行语之一....
的头像 AI人工智能D1net 发表于 02-21 16:06 447次 阅读
人工智能并不是一帆风顺 需要进一步发展

盘点资本加速洗牌对人工智能行业的影响

自2017年以来,深度学习概念被再次提起,AI成为全球最炙手可热的行业。不论是从创业项目数量、融资金....
的头像 重庆人工智能 发表于 02-21 16:04 462次 阅读
盘点资本加速洗牌对人工智能行业的影响

物联网将成为移动应用之后的下一个爆发点

在Gartner对2019年的十大战略性技术趋势的预测中,定义“AI驱动的开发”将成为企业发展的新技....
发表于 02-21 15:30 508次 阅读
物联网将成为移动应用之后的下一个爆发点

柔性机器人智能装备在OLED市场需求巨大

毋庸置疑的是,智能手机、智能穿戴设备的需求量和生产量非常大,导致重复劳动强度大,催生了机器人智能装备....
的头像 电子发烧友网工程师 发表于 02-21 15:16 289次 阅读
柔性机器人智能装备在OLED市场需求巨大

新松机器人上亿智能装备项目落户江苏无锡

该项目由新松集团智能装备事业部投资设立,注册资本1亿元,生产各类新型工业机器人及相关产品,达产后预计....
的头像 工控头条 发表于 02-21 15:10 244次 阅读
新松机器人上亿智能装备项目落户江苏无锡

如何通过人工智能及智能教育手段来均衡教育发展

当下,全球掀起了人工智能热潮,人工智能被写入今年我国《政府工作报告》。我国中小学校园网发展迅速,目前....
的头像 中国人工智能学会 发表于 02-21 14:36 336次 阅读
如何通过人工智能及智能教育手段来均衡教育发展

成都市加快人工智能产业发展专项政策

成都市人民政府办公厅日前印发了《成都市加快人工智能产业发展专项政策》,从加快夯实人工智能产业基础、不....
的头像 青岛科技通 发表于 02-21 13:58 398次 阅读
成都市加快人工智能产业发展专项政策

19年第五届中国沈阳国际机器人展览会

2019中国(沈阳)国际机器人展览会邀请函19年第五届中国沈阳国际机器人展览会一、展会概况(一)展会名称:2019中国(沈阳)国际机器...
发表于 02-21 13:20 24次 阅读
19年第五届中国沈阳国际机器人展览会

新松机器人无锡智能装备项目落户锡山

目前,重庆市信息通信业发展与技术创新座谈会在市通信管理局召开。从会上获悉,2019年,重庆市信息通信....
的头像 智能制造发展联盟 发表于 02-21 10:47 469次 阅读
新松机器人无锡智能装备项目落户锡山

德国2018机器人自动化销售额达150亿欧元

根据德国VDMA(Verband Deutscher Maschinen-und Anlagenba....
的头像 电子发烧友网工程师 发表于 02-21 10:18 183次 阅读
德国2018机器人自动化销售额达150亿欧元

人们对人工智能的期许超过它将实现的目标

近40年后,在我看来,对人工智能的期许似乎远远超过了它将实现的目标。
的头像 电子发烧友网工程师 发表于 02-21 09:58 473次 阅读
人们对人工智能的期许超过它将实现的目标

大咖云集探讨自动驾驶落地 第二届全球自动驾驶论坛开幕日速递

2019年2月20日,以“智能驾驶 改变未来”为主题的第二届全球自动驾驶论坛正式开幕。论坛由盖世汽车....
的头像 章鹰 发表于 02-21 09:25 1204次 阅读
大咖云集探讨自动驾驶落地 第二届全球自动驾驶论坛开幕日速递

盘点2019年人工智能行业25大发展趋势

知名创投研究机构CB Insights调研了25种最大的AI趋势,以确定2019年该技术的下一步趋势....
的头像 电子发烧友网工程师 发表于 02-21 08:58 826次 阅读
盘点2019年人工智能行业25大发展趋势

北京成立国家新一代人工智能创新发展试验区

从北京市科委获悉,2月18日上午,北京国家新一代人工智能创新发展试验区正式成立。这是我国首个国家新一....
的头像 电子发烧友网工程师 发表于 02-21 08:53 506次 阅读
北京成立国家新一代人工智能创新发展试验区

夏普发布新一代RoBoHoN机器人

日本可爱的 RoBoHoN 手机机器人迎来了全新版本。据日本时报报道,夏普公司于本周一发布了新一代 ....
的头像 电子发烧友网工程师 发表于 02-21 08:50 375次 阅读
夏普发布新一代RoBoHoN机器人

安全专家表示语音助手正面临着网络安全风险

过去几年,美国、中国和德国的大学研究人员成功地利用隐藏的音频文件,让Siri和Alexa等人工智能语....
的头像 E安全 发表于 02-20 16:29 696次 阅读
安全专家表示语音助手正面临着网络安全风险

STM32 WiFi传输请问用哪种无线模块传输更好

想做一个视频采集传输,控制机器人数据传输,用无线模块在电脑和机器人之间传输,用哪种无线模块传输更好,简单方便一些...
发表于 02-20 06:35 16次 阅读
STM32 WiFi传输请问用哪种无线模块传输更好

请问能分享ROS机器人操作系统的一些资料吗?

菜鸟想要学习ROS机器人操作系统,但是没能找到系统的资料,请问有哪位大神研究过,可以分享一些资料吗?跪谢了!!!!!!!...
发表于 02-19 23:14 15次 阅读
请问能分享ROS机器人操作系统的一些资料吗?

2019人工智能博览会用AI技术联通未来世界

                           &nb...
发表于 02-18 15:10 214次 阅读
2019人工智能博览会用AI技术联通未来世界

LABVIEW通过C#调用halcon算子

本人看过不少LABVIEW直接调用HALCON的例子,感觉不如调用C#速度快,方便简洁。今天就把本人的经验分享一下。第一次...
发表于 02-18 10:54 154次 阅读
LABVIEW通过C#调用halcon算子

机器人和激光雷达都不可或缺

激光雷达作为机器人身上一个不可或缺的零部件,他们是不是一对相互少不了彼此的好CP呢? 公众普遍知晓激光雷达相信大部分都...
发表于 02-15 15:12 127次 阅读
机器人和激光雷达都不可或缺

自然语言处理工具python调用hanlp中文实体识别

Hanlp作为一款重要的中文分词工具,在GitHub的用户量已经非常之高,应该可以看得出来大家对于hanlp这款分词工具还是很认可的。...
发表于 02-13 10:26 399次 阅读
自然语言处理工具python调用hanlp中文实体识别

人工智能技术及算法设计指南

人工智能各种技术与算法
发表于 02-12 14:07 179次 阅读
人工智能技术及算法设计指南

请问各位设计机器人的时候都用的什么电动手爪

我想问下各位大神在设计机器人的时候都用的什么电动手爪...
发表于 01-30 00:35 58次 阅读
请问各位设计机器人的时候都用的什么电动手爪