张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

如何让人工智能摆脱算法偏见

Thundersoft中科创达 2018-11-15 14:57 次阅读

人们都曾看过电影里机器控制了世界而人类被毁灭的场景。好在这些电影只是娱乐性的,现实世界是不会发生的。然而一个更应该关注的问题是:算法偏见。

1

什么是“算法偏见”

所谓“算法偏见”是指在看似没有恶意的程序设计中带着设计者的偏见,或者所采用的数据是带有偏见的。结果当然是带来了各种问题,例如,被曲解的谷歌搜索,合格的考生无法进入医学院就学,聊天机器人在推特上散布种族主义和性别歧视信息等。

算法偏见造成的最棘手的问题是,从事编程的工程师即使主观上没有种族主义、性别、年龄歧视等倾向,也有可能造成偏见。

人工智能(AI,Artificial INTELligence)本质上就是为了自学而设计的,有时它的确会出错。当然,人们可以在事后做出调整,但最好的解决办法是一开始就防止它发生。

具有讽刺意味的是人工智能最令人兴奋的可能性之一就是能够搭建一个没有人类偏见的世界。比如当涉及到招聘时,一种算法可以让男性和女性在申请同一份工作时获得平等的待遇,或者在警务工作中避免种族偏见的发生。

不管人们是否意识到,人类创造的机器确实反映了人们怎样是看待世界的,因此也会有类似的刻板印象和世界观。由于人工智能越来越深入到生活中,人类必须重视它。

2

算法偏见的分类

人工智能面临的另外一个挑战是,偏见不是以一种形式出现的,而是有各种类型的。这包括交互偏见、潜意识偏见、选择偏见、数据驱动的偏见和确认偏见。

“交互偏见”是指用户由于自己与算法的交互方式而使算法产生的偏见。当机器被设置向周围环境学习时,它们不能决定要保留或者丢弃哪些数据,什么是对的,什么是错的。

相反,它们只能使用提供给它们的数据——不论是好的、坏的,还是丑的,并在此基础上做出决策。前面提到的聊天机器人Tay便是这类偏见的一个例子。它是受到一个网络聊天社区的影响而变得偏种族主义了。

“潜意识偏见”是指算法错误地把观念与种族和性别等因素联系起来。例如,当搜索一名医生的图像时,人工智能会把男性医生的图像呈现给一名女性,或者在搜索护士时反过来操作。

“选择偏见”是指用于训练算法的数据被倾向性地用于表示一个群体或者分组,从而使该算法对这些群体有利,而代价是牺牲其他群体。以招聘为例,如果人工智能被训练成只识别男性的简历,那么女性求职者在申请过程中就很难成功。

“数据驱动的偏见”是指用来训练算法的原始数据已经存在偏见了。机器就像孩子一样:他们不会质疑所给出的数据,而只是寻找其中的模式。如果数据在一开始就被曲解,那么其输出的结果也将反映出这一点。

最后一类是“确认偏见”,这类似于数据驱动的偏见,偏向于那些先入为主的信息。它影响人们怎样收集信息,以及人们怎样解读信息。例如,如果自己觉得8月份出生的人比其他时候出生的更富有创造性,那就会偏向于寻找强化这种想法的数据。

3

算法偏见并不可怕

当我们了解到这么多偏见的例子渗入到人工智能系统时,似乎会引起我们的担忧。但重要的是要认清事实,记住这个世界本身就是有偏见的,因此,在某些情况下,人们对从人工智能中得到的结果并不奇怪。

然而,并不应该如此,人们需要一个对人工智能算法和系统进行测试和验证的过程,以便在开发期间和部署之前及早发现偏见。

与人类不同,算法不能撒谎,因此,如果结果是有偏见的,那一定有原因:和它得到的数据有关。

人类可以撒谎去解释不雇佣某人的原因,但人工智能不能。而采用算法,就有可能知道什么时候会出现偏见,并对其进行调整,以便将来能克服这些问题。

人工智能会学习,也会犯错。通常情况下,只有在实际环境中使用算法后才能发现任何内在的偏见,因为这些偏见在实践中被放大了。

不应把算法看成是一种威胁,而是解决任何偏见问题的好机会,并能在必要的时候加以纠正。

可以通过开发系统来发现有偏见的决策,并及时采取措施。与人类相比,人工智能特别适合采用贝叶斯(Bayesian)方法来确定某种假设的概率,从而消除所有人类偏见的可能性。这比较复杂,但是可行的,特别是考虑到人工智能的重要性(在以后几年里只会越来越重要)。

随着人工智能系统的建立和部署,非常重要的一点是必须理解它们是怎样工作的,只有这样才能通过设计让它们具有意识,避免将来出现偏见问题。

不要忘记,尽管人工智能发展非常迅速,但仍处于起步阶段,还有很多值得学习和改进的地方。这种调整会持续一段时间,在此期间,人工智能会变得更聪明,将有越来越多的方法来克服偏见等问题。

技术行业总是在质疑机器是怎样工作的,为什么这样工作。虽然大部分人工智能是在黑盒中运作的,决策过程是隐藏的,但人工智能的透明度是建立信任和避免误解的关键。

4

消除偏见的策略

目前有很多研究都在进行帮助鉴别偏见的产生,例如Fraunhofer Heinrich Hertz研究所开展的工作。他们正在研究识别不同类型的偏见,例如前面提到的偏见,还有一些更“低级”的偏见,以及人工智能训练和发展过程中可能出现的问题。

另外还需要考虑的是无监督训练。目前大多数人工智能模型是通过有监督训练生成的,采集的是明显带有人类选择的标签数据。

而对于无监督训练,使用不具任何标签的数据,算法必须要通过自己对数据进行分类、识别和汇集。

虽然这种方法通常比有监督学习慢很多数量级,但这种方法限制了人的参与。

因此,能够消除任何有意识或者无意识的人为偏见,从而避免对数据产生影响。

在底层也有很多事情可以改进。在开发新产品、网站或者功能时,技术公司需要各方面的人员。

多样性会给算法提供各种各样的数据,而这些数据也是有偏见的。如果能有一些人去分析输出结果,那么发现偏见的可能性会更高。

此外,还可以发挥算法审计的作用。2016年,卡耐基梅隆研究小组在网络招聘广告中发现了算法偏见。

当他们列出了在网上寻找工作的人员后,谷歌广告显示,男性在高收入工作中所占比例是女性的近六倍。该小组的结论是,进行内部审计将有助于减少这类偏见。

总之,机器偏见来自人的偏见。人工智能的偏见有多种方式的表现,但实际上,它只有一个来源:人类自己。

处理这一问题的关键在于技术公司、工程师和开发人员,他们都应该采取有效的措施来防止无意中创建一种带有偏见的算法。通过进行算法审计并始终保持透明度,就有信心让人工智能算法远离偏见。

原文标题:行业 | 让人工智能摆脱偏见

文章出处:【微信号:THundersoft,微信公众号:Thundersoft中科创达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

2019年全球机器视觉市场规模将近100亿美元

2018年全球机器视觉市场规模超88亿美元。随着应用市场的进一步扩大,未来市场需求将进一步放量。预计....
的头像 墨记 发表于 05-19 11:49 588次 阅读
2019年全球机器视觉市场规模将近100亿美元

把握全球人工智能发展态势 找准突破口和主攻方向

习近平主席在大会致贺信中说道:“把握全球人工智能发展态势,找准突破口和主攻方向,培养大批具有创新能力....
的头像 电子发烧友网工程师 发表于 05-19 11:38 549次 阅读
把握全球人工智能发展态势 找准突破口和主攻方向

医疗虚拟助手人性化医疗 利用人工智能缓解医患矛盾

人工智能的应用,既能够极大地增加有效的医疗资源,也可以进一步促进医疗的人性化程度。
发表于 05-19 11:25 57次 阅读
医疗虚拟助手人性化医疗 利用人工智能缓解医患矛盾

2019年医疗电子展望

如今人工智能、大数据、云计算等技术的发展非常快速,特别是人工智能,在短短几年的时间里已经风靡各个行业....
发表于 05-19 11:09 44次 阅读
2019年医疗电子展望

机器学习/人工智能领域一些非常有创意的突破

本文介绍了近期在机器学习/人工智能领域一些非常有创意的突破,每一个都脑洞大开,不管是否是相关从业人员....
的头像 电子发烧友网工程师 发表于 05-19 10:49 204次 阅读
机器学习/人工智能领域一些非常有创意的突破

日企“薪资不设上限”八大AI巨头豪掷140亿美元

AI领域人才抢夺大战愈演愈烈,有的公司去年给应届生的年薪就达到了50万元。今年,待遇继续水涨船高,“....
的头像 电子发烧友网工程师 发表于 05-19 10:41 186次 阅读
日企“薪资不设上限”八大AI巨头豪掷140亿美元

世上有两块完全相同的芯片吗?如何为芯片“望闻问切”?

国重实验室ADAPT课题组,联合中科驭数(北京)科技有限公司,在现场以视频和实物演示的形式,介绍了应....
的头像 电子发烧友网工程师 发表于 05-19 10:39 285次 阅读
世上有两块完全相同的芯片吗?如何为芯片“望闻问切”?

美国国会议员提出法案 拟限制部分中国公民赴美学习或进行学术交流

尔后美国政府15日再次发布针对华为等公司的限制交易令。美国总统特朗普签署名为“确保信息和通信技术及服....
的头像 电子发烧友网工程师 发表于 05-19 10:32 393次 阅读
美国国会议员提出法案 拟限制部分中国公民赴美学习或进行学术交流

铂电科技十年磨一剑 定义SCARA机器人新格局

SCARA作为3C、新能源领域应用最多的机器人之一,是最倾向于依靠标准化机型起量的本体,GGII认为....
的头像 电子发烧友网工程师 发表于 05-19 10:26 255次 阅读
铂电科技十年磨一剑 定义SCARA机器人新格局

机器人的应用日渐广泛 对工业生产与提高效能有重要作用

机器人的应用日渐广泛,对工业生产与提高效能有重要作用。工业机器人主要利用伺服电机进行运动控制,从而实....
的头像 电子发烧友网工程师 发表于 05-19 10:23 215次 阅读
机器人的应用日渐广泛 对工业生产与提高效能有重要作用

为什么要把数学建模与当今火热的人工智能放在一起?

按照传统定义,数学模型是对于一个现实对象,为了一个特定目的(实际问题),做出必要的简化假设(模型假设....
的头像 电子发烧友网工程师 发表于 05-19 10:22 177次 阅读
为什么要把数学建模与当今火热的人工智能放在一起?

最有用的机器人 但外表有点吓人

随着科技和仿生学的发展,机器人不再是大家印象中的方方正正,像《机器人瓦力》或者《机器管家》一样的传统....
发表于 05-19 10:03 48次 阅读
最有用的机器人 但外表有点吓人

斯坦福大学研究人员就试图通过大型视频集来识别、表示和生成人与物体间的真实交互

我们的目标是通过学习大型视频集来识别、表示和生成这些真实的交互。这必须要解决具有挑战性的基于视觉的识....
的头像 新智元 发表于 05-19 10:02 258次 阅读
斯坦福大学研究人员就试图通过大型视频集来识别、表示和生成人与物体间的真实交互

Chip Huyen总结ICLR 2019年的8大趋势 RNN正在失去研究的光芒

ICLR 2019过去有几天了,作为今年上半年表现最为亮眼的人工智能顶会共收到1591篇论文,录取率....
的头像 电子发烧友网工程师 发表于 05-19 10:01 193次 阅读
Chip Huyen总结ICLR 2019年的8大趋势 RNN正在失去研究的光芒

曾扬言毁灭人类的机器人 如今怎么样了

近年来社会的进步简直就是跨越性的飞跃。科技的发展也是让很多人都感受到了机器智能化的便利。生活上最普遍....
发表于 05-19 09:57 49次 阅读
曾扬言毁灭人类的机器人 如今怎么样了

机器人球场上拼“球技”

5月18日,机器人在标准平台组机器人足球赛中比拼。当日,2019亚太机器人世界杯天津国际邀请赛在天津....
发表于 05-19 09:53 49次 阅读
机器人球场上拼“球技”

百度搜索大换血:向海龙辞职,沈抖晋升为高级副总裁

在移动业务上,我们会继续强化、放大百度已经形成的一超多强的产品矩阵优势,在搜索、信息流双引擎驱动的基....
的头像 新智元 发表于 05-19 09:52 364次 阅读
百度搜索大换血:向海龙辞职,沈抖晋升为高级副总裁

ACM官网公布了2018 ACM博士论文奖

ACM博士学位论文奖每年向计算机科学与工程领域的最佳博士论文作者颁发一次。博士论文奖奖金2万美元,荣....
的头像 新智元 发表于 05-19 09:46 188次 阅读
ACM官网公布了2018 ACM博士论文奖

焊接的艺术 瓢虫机器人

通常情况下,你焊接电子元件是为了最好地连接和保持一切正常工作,这只是为了得到一个很好的视觉效果。如果....
发表于 05-19 09:45 56次 阅读
焊接的艺术 瓢虫机器人

中国是人工智能专利布局最多的国家

中国新一代人工智能发展战略研究院18日发布了《中国新一代人工智能科技产业发展报告(2019)》和《中....
发表于 05-19 09:40 43次 阅读
中国是人工智能专利布局最多的国家

《人工智能前沿与产业趋势》讲座第四讲 介绍计算机视觉应用和落地

清华大学《人工智能前沿与产业趋势》系列讲座第四讲,深睿医疗首席科学家、美国计算机协会杰出科学家、IE....
的头像 电子发烧友网工程师 发表于 05-19 09:40 199次 阅读
《人工智能前沿与产业趋势》讲座第四讲 介绍计算机视觉应用和落地

人工智能让世界更美好

为传播科学知识、弘扬科学精神、提高公众科学素养,5月18日,中国科学院自动化研究所举办了以“人工智能....
发表于 05-19 09:37 56次 阅读
人工智能让世界更美好

人工智能与国运相关 中美人工智能实力对比

人工智能作为当今的前沿科技,是大国之间较量的核心领域之一,在美国拟对中国出口管制的14大类技术名单中....
发表于 05-19 09:33 38次 阅读
人工智能与国运相关 中美人工智能实力对比

多个视角对自然语言处理领域进行全面梳理

接着,对自然语言处理面临的技术挑战进行了分析,包括自然语言中大量存在的未知语言现象、歧义词汇和结构、....
的头像 新智元 发表于 05-19 09:33 159次 阅读
多个视角对自然语言处理领域进行全面梳理

一个正确应用人工智能程序的方式

不能为人类造福的人工智能算法,就不是好的程序。这是所有人对于信息化应用方向最朴实的想法。而最近人工智....
发表于 05-19 09:29 32次 阅读
一个正确应用人工智能程序的方式

作恶、罢工、报复,《财富》长文揭秘谷歌内部斗争史

不同受访人对新旧谷歌的界限回答不一,但他们对这种变化的描述具有一致性:在旧谷歌,员工对公司的运营有发....
的头像 新智元 发表于 05-19 09:27 185次 阅读
作恶、罢工、报复,《财富》长文揭秘谷歌内部斗争史

国芯科技荣获第二届IC独角兽 成为2018年度风眼创新企业之一

杭州国芯科技股份有限公司荣登“第二届IC独角兽”新评选榜单,成为“2018年度风眼创新企业”之一。
的头像 电子发烧友网工程师 发表于 05-19 09:25 208次 阅读
国芯科技荣获第二届IC独角兽 成为2018年度风眼创新企业之一

在人工智能与大数据的助力下 未来的教育必将更加开放、多样和公平

2019合肥六中全国智慧教育峰会在合肥六中隆重举行。此次教育峰会由中国基础教育质量监测协同创新中心合....
的头像 电子发烧友网工程师 发表于 05-19 09:19 356次 阅读
在人工智能与大数据的助力下 未来的教育必将更加开放、多样和公平

科大讯飞人工智能新突破 可以帮助孩子做个性化的学习定制

语音识别技术不仅能够帮助说方言的孩子练习说普通话,也能让全世界人们学习中文,这些让柬埔寨教育青年和体....
的头像 电子发烧友网工程师 发表于 05-19 09:13 476次 阅读
科大讯飞人工智能新突破 可以帮助孩子做个性化的学习定制

人工智能推广运用 为高质量发展提供新动能

人工智能是引领新一轮科技革命和产业变革重要驱动力,正深刻改变着人们的生产、生活、学习方式。在刚刚举行....
的头像 电子发烧友网工程师 发表于 05-19 09:03 206次 阅读
人工智能推广运用 为高质量发展提供新动能

视觉SLAM实现的关键方法有哪些详细资料总结

本文是调研视觉SLAM中的实现方法的总结,包括三方面内容:姿态计算、闭环检测、BA优化。
的头像 智车科技 发表于 05-18 11:49 347次 阅读
视觉SLAM实现的关键方法有哪些详细资料总结

全国开启教育改革!机器人编程教育刚需性日渐凸显

随着人工智能趋势的不断加剧,世界各国也都将编程纳入国家战略布局。
的头像 电子发烧友网工程师 发表于 05-18 10:51 358次 阅读
全国开启教育改革!机器人编程教育刚需性日渐凸显

人工智能芯片的类别、发展现状、面临的挑战及发展趋势的PPT说明

近几年来,“人工智能”概念在中国非常火,产业速度发展非常迅猛。数据显示,中国扩展创新AI业务以增强重....
的头像 电子发烧友网工程师 发表于 05-18 10:42 376次 阅读
人工智能芯片的类别、发展现状、面临的挑战及发展趋势的PPT说明

现在人工智能已经能够读取人的想法并转化成语言和图像你害怕吗

对于那些无法说话的人来说,这是一项重大进步,因为这项技术创造了一种直接将思想转换成言语的途径。
的头像 电子发烧友网工程师 发表于 05-18 09:32 154次 阅读
现在人工智能已经能够读取人的想法并转化成语言和图像你害怕吗

机器视觉光源有什么样的作用及选择标准资料概述

机器视觉是图像技术、模式识别技术以及计算机技术发展的产物,是实现智能化、自动化、信息化的先进技术领域....
的头像 电子发烧友网工程师 发表于 05-18 09:19 306次 阅读
机器视觉光源有什么样的作用及选择标准资料概述

华为开始利用AI重新定义数据基础设施和数据存储

AI时代的到来,让许多工作都可以变得智能化、自动化,节省了许多的人力。某电商近年来开始在仓库中增加打....
的头像 电子发烧友网工程师 发表于 05-18 09:11 416次 阅读
华为开始利用AI重新定义数据基础设施和数据存储

科钛机器人货数千万Pre-A轮融资,掌握AGV核心控制技术

近日,智能仓储物流机器人公司科钛机器人宣布获得来自珪璋创投的数千万Pre-A轮融资,创始人林志赟表示....
发表于 05-18 08:44 83次 阅读
科钛机器人货数千万Pre-A轮融资,掌握AGV核心控制技术

随着工业机器人的发展,末端工具市场将如何?

此外,协作机器人的兴起推动机器人末端工具市场的发展,末端工具为机器人提供了抓取系统所需的功能,起到至....
发表于 05-18 08:36 64次 阅读
随着工业机器人的发展,末端工具市场将如何?

三菱电机推出MELFA系列工业机器人

机器人行业发展已经进入了下半场面,未来机器人将结合人工智能、物联网、云计算等技术,达到柔性化、智能化....
发表于 05-18 07:48 66次 阅读
三菱电机推出MELFA系列工业机器人

周志华教授撰写的《机器学习》备受读者欢迎

教育部印发了《教育部关于公布2018年度普通高等学校本科专业备案和审批结果的通知》,目前全国共有35....
的头像 电子发烧友网工程师 发表于 05-17 18:26 699次 阅读
周志华教授撰写的《机器学习》备受读者欢迎

Michael Schwarz针对人工智能经济学提出问题 并指出研究方向

早在30多年前,就有学者关注人工智能对经济学产生的影响,并结合经济学的基本命题进行了一些研究,这可以....
的头像 电子发烧友网工程师 发表于 05-17 18:09 730次 阅读
Michael Schwarz针对人工智能经济学提出问题 并指出研究方向

机器人行业发展迅速 广泛应用于各个领域

近些年来,机器人行业发展迅速,机器人被广泛应用于各个领域尤其是工业领域,不难看出其巨大潜力。
的头像 电子发烧友网工程师 发表于 05-17 17:43 726次 阅读
机器人行业发展迅速 广泛应用于各个领域

RNN正在失去光芒 强化学习仍最受欢迎

为期4天的会议,共有8个邀请演讲主题,内容包括:算法公平性的进展、对抗机器学习、发展自主学习:人工智....
的头像 电子发烧友网工程师 发表于 05-17 17:25 497次 阅读
RNN正在失去光芒 强化学习仍最受欢迎

我国人工智能发展迅猛无比,邻国的印度却是另一番景象

比中国差一大截?
的头像 TechSugar 发表于 05-17 17:15 414次 阅读
我国人工智能发展迅猛无比,邻国的印度却是另一番景象

B型川崎机器人更换平衡器连接轴,求解答

是否需要将气体放出,还有什么需要注意的地方吗?求解答 ...
发表于 05-15 16:14 202次 阅读
B型川崎机器人更换平衡器连接轴,求解答

人工智能上路需要知道什么常识

想要准确定义我们所说的常识可能有点难。常识可以基于某种文化,比如生活在某一地区的人都知道这种花有毒,而你作为游客却不知道...
发表于 05-13 06:20 136次 阅读
人工智能上路需要知道什么常识

【第5期】每周精选之人工智能资料汇总

为了方便大家查找技术资料,从今天开始,每个星期都会有一个社区资料总贴,同时也会选取一周的每天看电路和直播,让大家可以结合...
发表于 05-10 16:18 352次 阅读
【第5期】每周精选之人工智能资料汇总

智能控制、人工智能、智能算法的发展前景怎么样

浅谈智能控制、人工智能、智能算法的发展前景...
发表于 05-10 01:21 85次 阅读
智能控制、人工智能、智能算法的发展前景怎么样

【Elecfans社区精华帖】(190509):【限时免费领取】超值200G人工智能零基础最全学习资料包

发表于 05-09 18:36 270次 阅读
【Elecfans社区精华帖】(190509):【限时免费领取】超值200G人工智能零基础最全学习资料包

【专辑精选】人工智能之可穿戴技术教程与资料

电子发烧友总结了以“可穿戴技术”为主题的精选干货,今后每天一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载...
发表于 05-08 18:12 230次 阅读
【专辑精选】人工智能之可穿戴技术教程与资料

和孩子一起做的瓦力

新手和孩子一起学习arduino做的第一个简单机器人,考虑制作难度和方便性,主体和结构件都是用纸来做的,方便剪切,方便加个,还在...
发表于 05-07 22:32 124次 阅读
和孩子一起做的瓦力

【专辑精选】人工智能之神经网络教程与资料

电子发烧友总结了以“神经网络”为主题的精选干货,今后每天一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载相...
发表于 05-07 19:18 320次 阅读
【专辑精选】人工智能之神经网络教程与资料

机器学习新手必学的三种优化算法(牛顿法、梯度下降法、最速下降法)

                           &nb...
发表于 05-07 08:30 173次 阅读
机器学习新手必学的三种优化算法(牛顿法、梯度下降法、最速下降法)

【专辑精选】人工智能之Python教程与资料

电子发烧友总结了以“Python”为主题的精选干货,今后每天一个主题为一期,希望对各位有所帮助!(点击标题即可进入页面下载相关...
发表于 05-06 17:57 279次 阅读
【专辑精选】人工智能之Python教程与资料