电子发烧友网>人工智能> > 正文

人工智能和机器学习面临数据中毒的解决措施

2021年05月05日 16:58 次阅读

阻止勒索软件已成为许多组织的优先事项。因此,他们正在转向人工智能(AI)和机器学习(ML)作为他们的防御选择。然而,威胁者也正在转向人工智能和ML来发动他们的攻击。一种特定类型的攻击,即数据中毒,就利用了这一点。

人工智能和机器学习面临数据中毒的解决措施

为什么AI和ML有风险

像任何其他技术一样,人工智能是一个双刃剑。YouAttest的首席执行官Garret Grajek在一次电子邮件采访中说,人工智能模型擅长处理大量数据并得出 “最佳猜测”。

他说:“黑客已经使用AI来攻击身份验证和身份验证,包括语音和可视化黑客攻击。” ““武器化的AI”致力于获取访问密钥。”

康奈尔大学的研究人员解释说:“专业数据中毒是对机器学习的有效攻击,并且通过将中毒数据引入训练数据集来威胁模型完整性。”

是什么使通过AI和ML进行的攻击不同于典型的“系统中的错误”攻击?Marcus Comiter在哈佛大学Belfer科学与国际事务中心的论文中说,这些算法存在固有的局限性和弱点,无法解决。

“ AI攻击从根本上扩展了可用于执行网络攻击的实体的集合,” Comiter补充说。“有史以来第一次,物理对象现在可以用于网络攻击。还可以使用这些攻击以新的方式将数据武器化,要求改变数据的收集,存储和使用方式。”

人为错误

为了更好地了解威胁者如何利用AI和ML作为数据中毒和其他攻击的攻击载体,我们需要更清楚地了解他们在保护数据和网络方面的作用。

问问首席信息安全官,对一个组织的数据最大的威胁是什么,他们往往会告诉你是人性。

员工并不打算成为网络风险,但他们是人。人是可以分心的。他们今天错过了一个昨天就能轻易避免的威胁。一个急于赶截稿并期待得到一份重要文件的员工可能最终点击了一个受感染的附件,误以为那是他们需要的文件。或者,员工可能根本没有意识到,因为他们的安全意识培训太不连贯,没有留下印象。威胁者知道这一点,并且像任何好的罪犯一样,他们正在寻找进入网络和获取数据的最简单方法。网络钓鱼攻击之所以如此普遍,是因为它们非常好用。

使用异常行为作为风险因素

这就是AI和ML恶意软件检测发挥作用的地方。这些技术找到模式并分析用户行为,在其变成问题之前嗅出奇怪的行为。通过应用生成的算法,ML识别出人类不可能做到的异常行为。例如,它可以检测到一个员工的正常工作日或他们的击键节奏,并为不正常的事情设置警报。

当然,这并不完美。有人可能在正常工作时间之外工作,或者有影响他们打字方式的伤病。但这些工具的设计是为了捕捉一些不寻常的东西,例如威胁者使用被盗的证书。

充其量,我们可以使用AI通过告诉无监督计算机和网络上真实文件与恶意文件之间的区别,阻止对不良文件的访问来更好地保护网络免受勒索软件攻击。AI可以嗅探影子IT,告诉威胁的授权连接,并深入了解员工使用的端点数量。

为了使AI和ML成功应对网络威胁,他们依赖于在指定时间段内创建的数据和算法。这样一来,他们就可以有效地发现问题(并使安全团队腾出时间来执行其他任务)。这也是威胁。AI和ML的上升直接导致了数据中毒的潜在威胁。

了解数据中毒

有两种毒害数据的方法。一种是将信息注入系统,以便它返回错误的分类。从表面上看,对算法进行毒化看起来并不那么困难。毕竟,AI和ML只知道人们教给他们什么。想象一下,您正在训练一种算法来识别马匹。您可能会显示数百张棕色马的图片。同时,您教它通过看数百张黑白母牛的图片来识别母牛。但是,当一头棕色的母牛滑入数据集中时,机器会将其标记为一匹马。对于该算法,棕色动物就是一匹马。人类将能够识别出差异,但是除非算法指定母牛也可以是棕色,否则机器将无法识别。

如果威胁行动者访问了训练数据,则他们可以操纵该信息以向AI和ML讲授他们想要的任何东西。他们可以使他们将良好的软件代码视为恶意代码,反之亦然。攻击者可以重建人类行为数据,以发起社会工程学攻击或确定使用勒索软件攻击的目标。

威胁参与者的第二种方式可以利用训练数据来生成后门。

黑客可能会使用AI来帮助选择最值得利用的漏洞。因此,可以将恶意软件放置在企业中,在这些企业中,恶意软件本身可以决定攻击的时间以及最佳的攻击媒介。这些攻击(根据设计,是可变的),使得检测起来更加困难和时间更长。” Grajek说。

攻击者如何使用数据中毒

数据中毒需要注意的重要一点是,威胁参与者需要访问数据培训程序。因此,您可能正在面对内部攻击,商业竞争对手或民族国家的攻击。

Bruce Draper博士在DARPA研究项目中写道: “对抗性AI的当前研究重点在于那些无法感知的ML输入扰动可能欺骗ML分类器,从而改变其响应的方法。” “尽管对抗性AI领域还比较年轻,但已经提出了数十种攻击和防御措施,目前还缺乏对ML漏洞的全面理论理解。”

攻击者还可以使用数据中毒来使恶意软件更智能。威胁参与者使用它克隆短语来欺骗算法来破坏电子邮件。现在,它甚至进入了生物识别技术,攻击者可以在其中锁定合法用户并潜入。

数据中毒和深度伪造

深度欺诈是一种数据中毒的水平,许多人预计这将是数字犯罪的下一波浪潮。攻击者编辑视频,图片和录音以制作逼真的图像。因为它们可能被很多人误认为是真实的照片或视频,所以它们是勒索或尴尬的成熟技术。正如科米特指出的那样,在公司层面使用这种方法的一种变体也可能导致人身危险。

他写道:“人工智能攻击可以在自动驾驶汽车的眼睛上将停车标志变成绿灯,只需在停车标志本身上放几条胶带即可。”

假新闻也属于数据中毒。社交媒体中的算法已损坏,以允许不正确的信息上升到一个人的新闻提要的顶部,从而取代了真实的新闻来源。

阻止数据中毒攻击

数据中毒仍处于起步阶段,因此网络防御专家仍在学习如何最好地防御这种威胁。渗透测试和进攻性安全测试可能会导致发现漏洞,使外部人员可以访问数据培训模型。一些研究人员还正在考虑设计AI和ML的第二层,以捕获数据训练中的潜在错误。当然,具有讽刺意味的是,我们需要一个人来测试AI算法,并检查一头母牛是一头母牛而不是一匹马。

“人工智能只是攻击者武器库中的又一武器,”格雷厄克说。黑客仍将希望在整个企业范围内迁移,提升其执行任务的特权。持续不断的实时特权升级监控对于帮助缓解是否由AI造成的攻击至关重要。”
责编AJX

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

【现场直播】第五届IoT大会之人工智能分论坛

直播主题:● AI知名企业大佬现场分享观点,解读行业趋势● 中国AI产品制造商和系统集成商的产品、技术和市场战略● AI
发烧友学院发表于 2018-12-18 00:00 6414次阅读
【现场直播】第五届IoT大会之人工智能分论坛

Exo Imaging正在积极推进医疗影像技术的...

Janusz Bryzek:我们正在推出一款由工作流解决方案支持的高性能、低成本的超声波设备。我们最....
发表于 2021-05-06 09:42 7次阅读
Exo Imaging正在积极推进医疗影像技术的...

深度学习几乎可以完全复制人类的智能?

去年 11 月,“深度学习之父”、计算机科学家、认知心理学家杰弗里・辛顿(Geoffrey Hint....
发表于 2021-05-06 09:22 14次阅读
深度学习几乎可以完全复制人类的智能?

详谈机器学习模型算法的质量保障方案

近年来,机器学习模型算法在越来越多的工业实践中落地。在滴滴,大量线上策略由常规算法迁移到机器学习模型....
发表于 2021-05-05 17:08 67次阅读
详谈机器学习模型算法的质量保障方案

六个构建机器学习模型需避免的错误

近年来,机器学习在学术研究领域和实际应用领域得到越来越多的关注。但构建机器学习模型不是一件简单的事情....
发表于 2021-05-05 16:39 73次阅读
六个构建机器学习模型需避免的错误

简述西门子SCL语言-输入参数EN/输出参数EN...

每一个功能块和每一个函数都有隐式定义的输入参数EN。EN是BOOL数据类型,且被贮存在临时块数据区域....
发表于 2021-04-30 16:31 119次阅读
简述西门子SCL语言-输入参数EN/输出参数EN...

看看大佬们解答如何激发数据要素新动能

当数据成为继劳动、资本、土地等之后的又一生产要素 当数据将如同黄金和石油一样富有价值 我们应如何激发....
发表于 2021-04-30 16:17 273次阅读
看看大佬们解答如何激发数据要素新动能

一文带你手撕 STL 容器源码(下)

distance(begin(), end(), result); return result; }....
发表于 2021-04-30 16:12 138次阅读
一文带你手撕 STL 容器源码(下)

抗生素残留检测仪原理【莱恩德LD-KSS】

仪器带有监管平台,数据可局域网和互联网数据上传,检测结果直接传至食品安全监管平台。进行区域食品安全监....
发表于 2021-04-30 15:35 21次阅读
抗生素残留检测仪原理【莱恩德LD-KSS】

解析斯年智驾“重资产”模式前景如何?

近年来,我国港口大型化、专业化、自动化水平不断提高,通过能力显著增强,转型升级呼声日渐高涨。而以“无....
发表于 2021-04-30 15:27 211次阅读
解析斯年智驾“重资产”模式前景如何?

第五届世界智能大会将于5月20日在天津举办

第五届世界智能大会将于2021年5月20日至23日在天津举办,记者从世界智能大会组委会秘书处获悉,经....
发表于 2021-04-30 15:18 285次阅读
第五届世界智能大会将于5月20日在天津举办

好消息 Python与Excel终于互通了 !

很多开发者说自从有了 Python/Pandas,Excel 都不怎么用了,用它来处理与可视化表格非....
发表于 2021-04-30 14:52 157次阅读
好消息 Python与Excel终于互通了 !

华裔天才少年Alexandr Wang创办硅谷A...

【导读】19岁辍学麻省理工(MIT),华裔天才少年 Alexandr Wang 创办硅谷AI独角兽,....
发表于 2021-04-30 14:36 816次阅读
华裔天才少年Alexandr Wang创办硅谷A...

芯盾时代解决方案入选人工智能企业典型应用案例

4月26日,中央网信办在第四届数字峰会正式公布“人工智能企业典型应用案例”名单。根据人工智能社会实验....
发表于 2021-04-30 13:35 223次阅读
芯盾时代解决方案入选人工智能企业典型应用案例

嵌入式开发中中断与轮询的内涵与区别

摸水了一周,准备在家里好好敲敲代码,赶赶稿子,正当我专心输出的时候,被老婆打断了。 娃拉臭了,赶紧过....
发表于 2021-04-30 11:51 172次阅读
嵌入式开发中中断与轮询的内涵与区别

观安信息敏感数据发现解决方案亮相网络安全日现场

在本次429首都网络安全日活动现场,观安信息带来了一套基于兆芯通用处理器设计的敏感数据发现解决方案,....
发表于 2021-04-30 11:32 306次阅读
观安信息敏感数据发现解决方案亮相网络安全日现场

浅述ZYNQ-AXI总线的信号接口要求以及时序关...

学习内容 学习关于AXI总线的信号接口的具体要求(包括不同通道之间的关系,握手机制说明等)和AXI4....
发表于 2021-04-30 11:22 144次阅读
浅述ZYNQ-AXI总线的信号接口要求以及时序关...

华为HAE AI杰出开发者颁奖仪式举行

4月26日,华为开发者大会2021(Cloud)期间,行业专家、学者汇聚人工智能全场景创新与实践峰会....
发表于 2021-04-30 10:40 494次阅读
华为HAE AI杰出开发者颁奖仪式举行

openGauss社区开放治理迈出了新的一步

近日, openGauss 理事会筹备会议在深圳大学城国际会议中心成功召开,会议重点讨论 openG....
发表于 2021-04-30 10:36 317次阅读
openGauss社区开放治理迈出了新的一步

“超强煤矿大脑”智能视频(AI行为分析)应用

基于煤矿监控视频流进行违章行为识别、设备环境隐患识别,由于视频流数据量较大,加上煤矿井下环境嘈杂、煤....
发表于 2021-04-30 10:35 1548次阅读
“超强煤矿大脑”智能视频(AI行为分析)应用

Nano Dimension收购DeepCube...

DeepCube技术应用了许多已获得专利的突破性算法,来改善数据分析和基于高级深度学习的人工智能系统....
发表于 2021-04-30 10:26 197次阅读
Nano Dimension收购DeepCube...

精谱测控无纺布在线检测设备检测内容有哪些?

针对无纺布本身厚薄不均、结构稀疏不均的材料特性以及瑕疵分布的随机性,比如无纺布的正面、反面及中间,传....
发表于 2021-04-30 09:34 68次阅读
精谱测控无纺布在线检测设备检测内容有哪些?

解读AI芯片发展现状及前景

随着深度学习领域[1-4]带来的技术性突破,人工智能(artificial intelligence....
发表于 2021-04-30 09:32 508次阅读
解读AI芯片发展现状及前景

PyTorch官方培训教程 从概念到实操连小白也...

你是否也有这样的困惑: “看了无数个入门教程,这个门还是没跨进去……” 这一次,你可能终于有救了! ....
发表于 2021-04-30 09:24 134次阅读
PyTorch官方培训教程 从概念到实操连小白也...

雨量实时监测系统的功能特点都有哪些

雨量实时监测系统【莱恩德LD-YLJC】可广泛地应用于气象、防汛、农业、水文水利、环保、高速公路、机....
发表于 2021-04-29 15:23 39次阅读
雨量实时监测系统的功能特点都有哪些

快讯:人工智能“复活”爱因斯坦

爱因斯坦获得诺贝尔物理学奖 100 周年之际,新西兰一家数码科技公司近日用人工智能技术“复活”了这位....
发表于 2021-04-29 11:31 329次阅读
快讯:人工智能“复活”爱因斯坦

快讯:机器人可开冰箱取可乐,厨房等百余场景下精准...

近日,艾伦人工智能研究所推出AI框架A12-THOR 3.0版本,新增视觉对象操作框架Manipul....
发表于 2021-04-29 11:11 840次阅读
快讯:机器人可开冰箱取可乐,厨房等百余场景下精准...

快讯:美国公司研发可以代替机长驾驶飞机的机器人

美国公司研发出可以代替机长驾驶飞机的机器人ROBOpilot。ROBOpilot采用非侵入式方法,安....
发表于 2021-04-29 11:02 219次阅读
快讯:美国公司研发可以代替机长驾驶飞机的机器人

Achronix宣布其业界性能最高的Speeds...

专为处理人工智能/机器学习(AI / ML)、5G基础设施、网络处理、计算存储、测试和测量等应用中的....
发表于 2021-04-29 10:11 1408次阅读
Achronix宣布其业界性能最高的Speeds...

5G的创新终端应当是云管端一体化的人工智能马桶

5G商用两年以来,围绕5G的杀手级应用,社会各界争论不断,如何破解5G的杀手级应用?4月20日,中国....
发表于 2021-04-29 09:58 252次阅读
5G的创新终端应当是云管端一体化的人工智能马桶

苏州医工所等在病原菌感染快速诊断研究中取得进展

近期,中国科学院苏州生物医学工程技术研究所宋一之、复旦大学附属华山医院王明贵和英国牛津大学Wei H....
发表于 2021-04-29 09:16 159次阅读
苏州医工所等在病原菌感染快速诊断研究中取得进展

浅谈2021年物联网的七大发展趋势

得益于速度更快的WiFi和5G技术以及机器学习和人工智能的技术改进,很多企业迅速实施数字化转型,并获....
发表于 2021-04-28 18:16 785次阅读
浅谈2021年物联网的七大发展趋势

解密Arm Neoverse V1和Neover...

基于CMN-600的成功基础,CMN-700在每个矢量上进一步提升了性能——从内核的数量、缓存的大小....
发表于 2021-04-28 15:26 236次阅读
解密Arm Neoverse V1和Neover...

瀚博半导体今日宣布完成5亿元人民币A+轮融资!

2021年4月28日,瀚博半导体(上海)有限公司(下称“瀚博半导体”或“瀚博”)今日宣布完成5亿元人....
发表于 2021-04-28 15:15 267次阅读
瀚博半导体今日宣布完成5亿元人民币A+轮融资!

浅谈什么是通用人工智能与如何培养人工智能人才?

为什么中国的两所顶级高校要联手开设通用人工智能实验班?人工智能通才是怎样的人才,“通”体现在哪些方面....
发表于 2021-04-28 15:15 277次阅读
浅谈什么是通用人工智能与如何培养人工智能人才?

消费电子版图再扩张 紫光展锐出击AR市场

作为中国大陆唯一一家5G芯片开放市场企业的紫光展锐,近期在其2021创见未来大会上的发布内容,无疑为....
发表于 2021-04-28 15:09 788次阅读
消费电子版图再扩张 紫光展锐出击AR市场

大数据领域75个核心术语详解(上)

Ramesh Dontha 曾在 DataConomy 上连发两篇文章,扼要而全面地介绍了关于大数据....
发表于 2021-04-28 14:51 150次阅读
大数据领域75个核心术语详解(上)

探究多Agent的传感器管理系统研究与设计

本文提出了一种传感器管理系统框架,给出了基于多Agent的解决方案。该结构通过多个Agent间的相互....
发表于 2021-04-28 10:47 151次阅读
探究多Agent的传感器管理系统研究与设计

块设备与字符设备的区别是什么?

块设备与字符设备的区别是什么? 数据在内核中到底是如何流通、处理的? ...
发表于 2021-04-28 06:04 0次阅读
块设备与字符设备的区别是什么?

多位院士共谈当前人工智能面临的问题与突破技术机会

当今,新一代人工智能与机器人技术正在全球范围内蓬勃兴起,为经济社会发展注入新动能,并深刻改变人们的生....
发表于 2021-04-27 17:03 321次阅读
多位院士共谈当前人工智能面临的问题与突破技术机会

独家!华为开发者大会如期而至 正式发布6大创新技...

今日下午,华为公司的开发者大会(Cloud)如期而至,但与往年不同的是,今年大会在深圳大学城设立主会....
发表于 2021-04-27 16:58 769次阅读
独家!华为开发者大会如期而至 正式发布6大创新技...

基于RP2040的Pico可用作PIO的逻辑分析...

基于RP2040的Pico可用作PIO的逻辑分析仪。扩展示例以将结果导出到sigrock和Pulse....
发表于 2021-04-27 15:08 327次阅读
基于RP2040的Pico可用作PIO的逻辑分析...

如何在ESP32上使用代码运行TensorFlo...

该项目使用在ESP32上运行的TensorFlow Lite创建一个语音控制的机器人。它可以响应简单....
发表于 2021-04-27 14:54 206次阅读
如何在ESP32上使用代码运行TensorFlo...

RFID的几大标准之间应该怎样区分呢

在产业界中广泛流传着一句话“一流企业定标准、二流企业做品牌、三流企业做产品”,虽然在笔者看来,这句话....
发表于 2021-04-27 14:30 177次阅读
RFID的几大标准之间应该怎样区分呢

慧荣科技的FerriSSD产品家族采用了哪些技术?

慧荣科技的FerriSSD产品家族采用了哪些技术? 温度对数据保存的影响是什么? 如何提高引导加载SSD的数据完整...
发表于 2021-04-19 07:46 0次阅读
慧荣科技的FerriSSD产品家族采用了哪些技术?

求大神分享关于iTOP-3399开发板人工智能的测试资料

求大神分享关于iTOP-3399开发板人工智能的测试资料...
发表于 2021-04-19 06:08 0次阅读
求大神分享关于iTOP-3399开发板人工智能的测试资料

人工智能系统助力工业流程型生产制造领域应用展示

发表于 2021-04-15 10:19 202次阅读
人工智能系统助力工业流程型生产制造领域应用展示

向广大网友请教一个可能比较弱智的问题?

向广大网友请教一个可能比较弱智的问题,万分感谢!广大网友,大家好!问大家一个问题,在图片中识别文字,与这件事情...
发表于 2021-04-10 18:45 2691次阅读
向广大网友请教一个可能比较弱智的问题?

STM32串口发送数据和接收数据方式总结

串口发送数据 1、串口发送数据最直接的方式就是标准调用库函数 [code]void USART_SendData(USART_Typ...
发表于 2021-04-08 09:14 808次阅读
STM32串口发送数据和接收数据方式总结

简述串行数据系统与抖动的有关知识

串行数据系统的基本知识 抖动的基本概念 串行数据系统中误码率的概念 抖动的来源 ...
发表于 2021-04-07 06:19 0次阅读
简述串行数据系统与抖动的有关知识

hi3861设备侧向华为云MQTT服务器上报数据的问题

求助一下,困扰我好久了,望前辈们能指点一下。以上是设备消息跟踪截图。连接上了,又被断开,从ONLINE->OFF...
发表于 2021-04-05 22:27 140次阅读
hi3861设备侧向华为云MQTT服务器上报数据的问题

机器学习算法如何用于制造无人驾驶汽车?

机器学习算法如何用于制造无人驾驶汽车
发表于 2021-03-18 06:27 0次阅读
机器学习算法如何用于制造无人驾驶汽车?

MSP430AFE253IPW 数据解析,行业人士请回答下。

MSP430AFE253IPW   芯片没有烧写软件时读出来的数据代表什么? ...
发表于 2021-03-17 17:10 101次阅读
MSP430AFE253IPW 数据解析,行业人士请回答下。