张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

剑桥大学的研究人员设计了一个AI“偷听”算法

新智元 2019-04-08 08:46 次阅读

获取用户在虚拟屏幕上的文本输入,需要克服两个难题:首先是通过声音判断敲击的位置;其次是消除噪音干扰。剑桥大学的研究人员设计了一个AI“偷听”算法,可以通过监听手指敲击屏幕的声音窃取手机密码。

盗取密码,只要听听你敲键盘的声音就够了。

曾经,通过键盘记录程序来盗取密码就已经非常可怕了;然而,现在更骇人听闻的黑科技诞生了!

剑桥大学的研究人员设计了一个AI“偷听”算法,只需要通过监听手指敲击屏幕的声音,就能够窃取到手机密码:

论文地址:

https://arxiv.org/pdf/1903.11137.pdf

这个新颖的攻击方法的原理是将手指敲击屏幕所产生的声音,在虚拟键盘上恢复成对应的输入字符

论文作者表示:

敲击屏幕的声波可以通过设备的麦克风进行恢复,就像“听到”了手指的触摸一样,虚拟屏幕上声波的失真的这一特征便是敲击键盘的位置。因此,只需要通过内置麦克风录下声音,恶意程序就可以在用户输入时推断出对应的字符。

实验原理

针对键盘的声学攻击并不新鲜。

利用麦克风,根据键盘独特的物理特性或缺陷来识别物理按键的方法已经很成熟了,但是在虚拟键盘的识别上存在着很大的困难。因为虚拟键盘上的点击发生在同一个表面上,需要通过一些特殊的方法来确定手指敲击的位置。

剑桥大学的研究团队开发了一款app,可以复原敲击的声音,并将其与击键联系起来。该程序使用的机器学习算法是离线训练的,并针对特定的智能手机或平板电脑模型进行调整。

这个算法需要克服一个重大的工程挑战在于:如何解释敲击时,指尖所产生的干扰振动。事实上,当用手指敲击屏幕的时候,声波不仅在空气中传播,更重要的是在设备本身之间传播。敲击会导致屏幕震动,而这种震动模式,可以被多麦克风捕获并进行区分。

实际应用场景中,噪声会极大的影响麦克风对敲击声的探测。为了解决这一问题,研究人员将反馈声音与振动反馈进行交叉关联,消除振动反馈的歧义,同时除去了振动数据。

结果显示,对于平板电脑,在20次尝试中回收了200个4位pin码中的61%,即使模型没有使用受害者的数据进行训练;对于智能手机,恢复了9个大小为7-13个字母的单词,在一个常见的侧通道攻击基准中尝试了50次。

实验设计

实验设置

剑桥研究团队开发了一个 Android 应用程序,参与者分别使用全键盘和9宫格数字键盘输入单词、任意数字或4位数字(PIN码),横屏或者竖屏都可以。该app应用程序通过内置麦克风收集音频

9宫格数字键盘的尺寸和形态是固定的,因此只需要在智能手机上测试竖屏状态下的数字输入即可。而全键盘则需要在手机和平板上,对横屏和竖屏状态分别进行测试。

参与测试的志愿者在三个不同的地方完成了这项任务,分别是

公共休息室。背景中有人在聊天,偶尔会有一台咖啡机做咖啡的吵声

阅览室。背景中人们要么在电脑上打字,要么用很轻的声音说话

图书馆。都很安静,但是附近的笔记本电脑持续发出咔哒咔哒的声音

这三个地方都开着窗户,因此室外的噪音也掺杂其中。

空气中声音的速度取决于温度,因此数据只在白天室内收集,温度在22-25摄氏度之间。实验设备关闭了所有运行中的其他app,只打开实验用的app。

实验使用的设备Nexus 5和Nexus 9,尺寸分别为137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。两款设备都有两个麦克风,拥有标准的采样率。Nexus 5的主麦克风位于设备底部,副麦克风位于顶部。Nexus 9一个在底部,另一个在右侧。两台设备均基于Android  5.1.1 Lollipop系统,该系统目前市场占有率约20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止对PIN输入使用反馈机制,所以只对文本输入进行了测试。值得注意的是:由于该方式比较新颖,缺乏标准的基准测试,读者可以自行评估以下两个结论:

对小型虚拟键盘的攻击与对大型物理键盘的攻击效果差不多

尽管面对噪音这一强干扰项,该方式仍然能够获得同使用其他探测器类似的效果

数据收集

实验共有45名参与者,其中21位女性、24位男性;实验共获得30个小时的音频数据。实验分为4个部分:

第一组测试者每人随机敲击9宫格数字键盘10次,每次1个数字

第二组测试者每人敲击9宫格键盘200次,每次4个数字

第三组测试者随机敲击全键盘上的字母

第四组测试者敲击全键盘,输入NPS聊天语料库中的5个字母的单词

表1  所有字母和单词输入实验的摘要

单个数字推断

第一次尝试进行单一数字分类时的训练、测试和与主题无关(即LOSO)的准确性如表2所示。

表2  Nexus 5智能手机的个位数分类精度

对于与主题无关的情况(LOSO),标准偏差更高。

在最坏的情况下,仅使用底部麦克风,预测数字会比随机猜测略好;但在最好的情况下,几乎一半的数字在第一次尝试时被正确预测。 顶部麦克风的结果仍然较高,在最差情况下为两倍,在最佳情况下为85%。 使用两个麦克风,正确预测在最坏情况下比随机猜测好3倍;和100%的数字在最好的情况下。

当一个数字预测不正确时,分类器会快速纠正它(根据分类器生成的预测的置信值对猜测进行排序)。例如,使用两个麦克风(如上图所示),30%的错误预测在第一次尝试后被修正,另外20%在第二次尝试时被修正。固定的速度然后变得平缓。这意味着,在三次尝试中,分类器正确地预测了80%以上的数字。

4位数字推断

4位PIN的预测结果如下图所示。

使用单个麦克风,10次尝试后可以恢复54%的PIN。通和先前工作进行了比较发现,在很多情况下往往表现的更好,在其他方面也不输给先前工作。例如,使用两个麦克风,只需20次尝试就可以恢复91/150个PIN码,并不需要知道PIN码的分布情况,也不需要知道后续点击之间的时间间隔。

字母和单词推断

全键盘的预测结果,如表3所示。

表3  单字符分类精度为26类

如果同时使用一个麦克风进行LOSO和测试,要比随机猜测高出三倍。顶部麦克风捕获的声音,比来底部麦克风产生更好的效果。

实验还发现,在手机上竖屏要比横屏效果更好;而平板上则没有太大区别。

实验结果表明,依靠TrustZone等隔离机制来保护用户输入并不总是足够的。 

移动设备可能需要更丰富的功能模型,更加用户友好的传感器使用通知系统以及对底层硬件泄漏的信息的更全面评估。

原文标题:剑桥大学AI“偷听”算法:按屏幕听声音,手机密码不保

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

手机厂商应用商店“出海记”

随着国产软件在海外市场迅猛发展,各大手机厂商的应用商店也在加紧“扬帆出海”的速度。
的头像 第一手机界 发表于 07-16 17:28 153次 阅读
手机厂商应用商店“出海记”

人工智能能实现无人物流体系吗

无人科技背后的大数据、AI算法等科技成果还促进建立了以消费者个性化需求为核心的C2M反向定制、物流价....
发表于 07-16 17:27 31次 阅读
人工智能能实现无人物流体系吗

产业互联网时代到来科技是最大筹码

当产业互联网的风口到来,这些企业未来的发展路径又是怎样的?
的头像 每日经济新闻 发表于 07-16 17:06 65次 阅读
产业互联网时代到来科技是最大筹码

消灭金属中框?华为新工艺去除三文治结构

华为正在与相关产业伙伴推动一项新的手机工艺,它能够使屏幕前后玻璃直接连接,这样做的结果就是或许能够消....
的头像 艾邦产业通 发表于 07-16 16:16 140次 阅读
消灭金属中框?华为新工艺去除三文治结构

物业公司如何面对社区物联化大势所趋

随着人工智能、大数据、物联网等科技发展,传统行业也开始借助这些技术进行转型升级。
发表于 07-16 15:24 20次 阅读
物业公司如何面对社区物联化大势所趋

“G往开来,为AI出行”——长城汽车告别传统功能车时代

7月15日,“G往开来,为AI出行”——长城汽车GTO全域智慧生态战略在保定哈弗技术中心正式发布。
的头像 天津机器人 发表于 07-16 15:12 101次 阅读
“G往开来,为AI出行”——长城汽车告别传统功能车时代

华为解禁在即!美国制造商“闻风而动”

美国公司可能会在2—4周内重启对华为的销售。
的头像 中国半导体论坛 发表于 07-16 14:16 131次 阅读
华为解禁在即!美国制造商“闻风而动”

一代手机之王,也开始走下了神坛!

连续2个季度销量暴跌42%!谁也没想到,苹果会有这一天……
的头像 芯片晶圆切割保护膜 发表于 07-16 14:14 103次 阅读
一代手机之王,也开始走下了神坛!

AI音乐家将在这四个方面掀起革新浪潮

就像在其他行业一样,在音乐领域,AI也在帮助服务自动化,在庞大的数据集中发现模式和洞见,并帮助提高创....
发表于 07-16 14:12 20次 阅读
AI音乐家将在这四个方面掀起革新浪潮

“华米OV”多品牌矩阵模式抢占市场

大陆国内智能手机市场进入饱和期,头部手机厂商之间的竞争,变得更为凶残与猛烈。
的头像 PCB资讯家 发表于 07-16 14:02 109次 阅读
“华米OV”多品牌矩阵模式抢占市场

Facebook AI又出新作:性能翻倍,计算成本不增加

Facebook AI又出新作,在神经网络中加入一个结构化存储器层,极大扩充了网络容量和参数数量,性....
的头像 全球人工智能 发表于 07-16 10:56 141次 阅读
Facebook AI又出新作:性能翻倍,计算成本不增加

用AI对抗AI——基于视频人脸篡改的检测

Deepfake有救了!
的头像 大数据文摘 发表于 07-16 10:10 129次 阅读
用AI对抗AI——基于视频人脸篡改的检测

如果你将踏上机器学习工程师就可能遇到 Daniel Bourke 相似经历

如果未来的你将踏上机器学习工程师这条道路,那你很大可能将遇到和机器学习工程师 Daniel Bour....
的头像 新机器视觉 发表于 07-16 09:57 141次 阅读
如果你将踏上机器学习工程师就可能遇到 Daniel Bourke 相似经历

人民日报社与中国联通在建设5G新媒体平台方面正式开展合作

根据战略合作协议,双方将以建设5G新媒体平台为目标,充分运用5G、4K超高清视频,虚拟现实(VR),....
发表于 07-16 09:46 107次 阅读
人民日报社与中国联通在建设5G新媒体平台方面正式开展合作

热点 | 工信部:加快5G、AI等新型基础设施建设

7月9日第18届中国互联网大会召开,工业和信息化部副部长陈肇雄出席大会并致辞。
的头像 高工机器人 发表于 07-16 08:52 112次 阅读
热点 | 工信部:加快5G、AI等新型基础设施建设

自动对焦在智能手机的应用

作者:高级产品营销经理Jason Whetstone 当今最想要的智能手机特性 对于许多用户,相机性能已成为一台智能手机最重要的方面。...
发表于 07-16 08:50 96次 阅读
自动对焦在智能手机的应用

从场景出发的计算架构才能真正满足AI大规模应用需求

来自学术界、工业界、投资界的重磅嘉宾齐聚CCF-GAIR 2019 AI芯片专场共同探讨芯片的前沿技....
的头像 云天励飞资讯 发表于 07-16 08:35 128次 阅读
从场景出发的计算架构才能真正满足AI大规模应用需求

人工智能如何分辨谣言

即以AI技术打假为主、以人工审核为辅,AI还不能替代专家。
发表于 07-15 16:30 29次 阅读
人工智能如何分辨谣言

如何解锁AI医疗落地之难

在众多落地场景中,目前AI医学影像是最为成熟的一个。
发表于 07-15 16:26 27次 阅读
如何解锁AI医疗落地之难

Unihertz正式发布了一款三防键盘手机Titan外形酷似黑莓

Unihertz Titan将会在Kickstarter网站集资,目前已知的参数包括分辨率达1440....
发表于 07-15 16:15 178次 阅读
Unihertz正式发布了一款三防键盘手机Titan外形酷似黑莓

如何用AI打造线上社群的西部世界

构建在区块链之上的“AI机器人管家”Jarvis+,在满足社群运营的基础之上,将用户和平台进行链接,....
发表于 07-15 15:49 27次 阅读
如何用AI打造线上社群的西部世界

是什么让Facebook AI副总裁夜不能寐?

Facebook 人工智能副总裁Jérôme Pesenti,首次在公开演讲中亮相,表达了对日益增长....
的头像 新智元 发表于 07-15 15:05 83次 阅读
是什么让Facebook AI副总裁夜不能寐?

AI护士小姐姐可以帮护士多少忙

机器人队友在这方面真的会是一个有趣而巨大的进步。
发表于 07-15 11:32 60次 阅读
AI护士小姐姐可以帮护士多少忙

两家的公司决定转让合资法人SKC Kolon PI 购意向书有了

7月11日石化业界资讯,两家的公司决定转让合资法人SKC Kolon PI,并开始接受韩国大型私募基....
的头像 CINNO 发表于 07-15 11:13 345次 阅读
两家的公司决定转让合资法人SKC Kolon PI 购意向书有了

电子企业的出口成本智能手机市场多方面业绩挑战

由于国际贸易形式存在较大不确定性,美方加征关税影响大陆电子企业的出口成本,况且大陆电子企业也面临下游....
的头像 旺材芯片 发表于 07-15 10:25 375次 阅读
电子企业的出口成本智能手机市场多方面业绩挑战

从头开始构建最先进的深度学习模型

Deep Learning from the Foundations
的头像 AI科技大本营 发表于 07-15 10:02 155次 阅读
从头开始构建最先进的深度学习模型

Al人工智能比特币矿机兴起原因是什么

一方面AI需要大量的算力,另一方面挖矿正在造成大量算力的浪费。
发表于 07-15 09:47 34次 阅读
Al人工智能比特币矿机兴起原因是什么

采用OLED显示屏的喷墨打印技术将在明年实现量产

据悉,用于OLED显示器生产的喷墨打印技术最终将于2020年实现量产。到2020年,基底年产量约为1....
发表于 07-14 11:36 88次 阅读
采用OLED显示屏的喷墨打印技术将在明年实现量产

AI创造性的工作都已经不在话下了吗

未来的学术出版以及各类书籍,将不再只是人为创造,而是有更多形式出现,包括了混合人机文本生成的书籍或完....
发表于 07-14 11:04 67次 阅读
AI创造性的工作都已经不在话下了吗

AI是每个企业的机会吗

只有把握人工智能机遇,企业才能掌握高质量发展的“利器”。
发表于 07-14 10:44 64次 阅读
AI是每个企业的机会吗

如何利用物联网技术帮助拯救濒危动物

物联网,或者说IOT,正在成为我们日常生活的一部分——通常我们甚至都没有注意到。智能手机、电器和虚拟....
发表于 07-14 10:40 104次 阅读
如何利用物联网技术帮助拯救濒危动物

现在看病还需要像以前那样排队吗

开发出了全球领先的下一代微特征识别FVR技术,把浩瀚的手掌脉络“微特征”编码为高密度、高容量的超级“....
发表于 07-14 10:38 46次 阅读
现在看病还需要像以前那样排队吗

从按键到触控 科技将改变未来生活

现在将许多关于科技上面的元素都加入到了各个行业中,这样的一个现象其实是跟我们现在的时代有很大关联的,....
发表于 07-14 10:35 122次 阅读
从按键到触控 科技将改变未来生活

AI是怎样从你的声音听出你的长相的

随着人工智能技术的不断发展,AI似乎变得越来越“无所不能”
发表于 07-14 10:30 48次 阅读
AI是怎样从你的声音听出你的长相的

如何让AI技术尽快应用于实际

自然语言处理(NLP)和自然语言理解,特别是语音转文字技术将成为2019年企业AI中最主要的产品呈现....
发表于 07-14 09:54 49次 阅读
如何让AI技术尽快应用于实际

带你详细了解科沃斯机器人DEEBOT T5

目前,扫地机器人已经成为很多一二线城市家中必备的产品,而平时工作、生活比较忙碌的人群成为扫地机器人的....
发表于 07-14 09:26 62次 阅读
带你详细了解科沃斯机器人DEEBOT T5

未来的人工智能研究会在非洲吗

尽管存在极大困难,非洲的机器学习依然在过去几年里迅速发展。
发表于 07-14 09:18 35次 阅读
未来的人工智能研究会在非洲吗

2019年Q1欧洲手机市场出货量下跌,华为和小米挤进榜单前五

国内手机厂商最近几年一直大力布局海外市场,如今从IDC的数据来看,它们在海外市场已做出相应成绩。ID....
发表于 07-14 09:10 140次 阅读
2019年Q1欧洲手机市场出货量下跌,华为和小米挤进榜单前五

2019年iPhone出货量较去年相比下降了17%

据消息报道,今年iPhone的出货量相比2018年将下降17%。此外,苹果将可能在未来几款设备上将增....
发表于 07-14 09:09 87次 阅读
2019年iPhone出货量较去年相比下降了17%

性价比手机市场不可小视,三星与中国手机争夺

三星在中国智能手机市场的份额已跌至1%左右,今年已推出了多款具竞争力的性价比手机A系列,近期其即将上....
发表于 07-13 11:37 164次 阅读
性价比手机市场不可小视,三星与中国手机争夺

2019年6月国内手机市场总体出货量情况分析

国内手机市场总体出货量。2019年6月,国内手机市场总体出货量3431.0万部,同比下降6.3%,其....
发表于 07-13 09:39 280次 阅读
2019年6月国内手机市场总体出货量情况分析

阿里达摩院刷新纪录,开放域问答成绩比肩人类水平

这是继 2018 年《Multi-granularity hierarchical attentio....
的头像 AI科技大本营 发表于 07-13 08:26 186次 阅读
阿里达摩院刷新纪录,开放域问答成绩比肩人类水平

AI看了100部电影,学会了接吻是什么样子

这项研究来自Netflix的高级数据科学家Amir Ziai,他正在斯坦福大学攻读AI专业研究生。Z....
的头像 新智元 发表于 07-13 08:19 202次 阅读
AI看了100部电影,学会了接吻是什么样子

AI虽然不能产生万物,但是正在“唤醒万物”

现场的演示视频显示,搭载百度自主泊车功能的汽车可以在人类司机驾驶的车流里,自动排队开往地下停车场;车....
的头像 AI科技大本营 发表于 07-13 08:12 849次 阅读
AI虽然不能产生万物,但是正在“唤醒万物”

深度推荐系统与CTR预估2019年值得精读的论文

FaceBook推荐最新论文,通过建模与系统协同设计提出一种butterfly-shuffle的机制....
的头像 AI科技大本营 发表于 07-13 07:42 157次 阅读
深度推荐系统与CTR预估2019年值得精读的论文

腾讯已经变得越来越开放,开源已在路上

近日,腾讯在开源上有了一次大动作,首次全面公开了其整体的开源路线图。据了解,基于代码开放和社区运营,....
的头像 AI科技大本营 发表于 07-13 07:24 1579次 阅读
腾讯已经变得越来越开放,开源已在路上

CCF-GAIR全球人工智能与机器人峰会今日开幕 聚焦AI前沿技术和探讨落地路径

7月12日-14日,2019年全球人工智能与机器人峰会(CCF-GAIR)正式开幕,该如何锚定人工智....
发表于 07-12 20:38 146次 阅读
CCF-GAIR全球人工智能与机器人峰会今日开幕 聚焦AI前沿技术和探讨落地路径

一加7 Pro下血本 90Hz三星流体屏占成本25%

一加在2019年5月推出了了年度产品一加7,不过这次一加并不指推出单纯一款产品,而是一加7和一加7 ....
的头像 MCA手机联盟 发表于 07-12 18:04 915次 阅读
一加7 Pro下血本 90Hz三星流体屏占成本25%

小米雷军野望不切实际 对阵华为毫无胜算

近日,雷军与小米中国区团队举办了一场干部动员会。雷军称:还是得有梦想,要抓住5G机遇,以手机+AIo....
的头像 MCA手机联盟 发表于 07-12 18:00 944次 阅读
小米雷军野望不切实际 对阵华为毫无胜算

日本官员对外宣称:制裁韩国取消对韩特惠待遇日本的态度坚决

另日本官员对外宣称,制裁韩国是长期的、持续的;日本的态度很坚决。
的头像 PCB世界 发表于 07-12 17:11 457次 阅读
日本官员对外宣称:制裁韩国取消对韩特惠待遇日本的态度坚决

人工智能投资迎来拐点

人工智能投资的热潮席卷全球,风险资金不断涌入,尽管在人工智能创业公司和总股本交易数量方面,美国仍然在....
发表于 07-12 17:08 60次 阅读
人工智能投资迎来拐点

微波通信网络的两种扩容方法

随着需要大量带宽的智能手机和无线平板电脑变得越来越普及,微波网路的扩容就变得必不可少了。 进一步说,运营商必须考虑在无线...
发表于 07-11 08:26 172次 阅读
微波通信网络的两种扩容方法

智能手机的待机功耗

  在智能手机、平板电脑、数码相机等消费电子产品中,待机功耗一直是一个关键设计难点。此外,这些产品需要无缝的功率管理和电池...
发表于 07-05 06:50 148次 阅读
智能手机的待机功耗

智能手机拆解及核心硬件分析

发表于 06-28 17:25 259次 阅读
智能手机拆解及核心硬件分析

智能手机复杂接口设计

支持网络的多媒体智能电话改变了消费者使用手机的方式。在这些电话中,特别受欢迎的是液晶触摸屏接口,用户通过它来使用各种应用...
发表于 06-21 05:00 77次 阅读
智能手机复杂接口设计

32 W Type-C接口QC-3.0适配器解决方案设计说明

DN05099 / D,Design Note描述了一个36瓦的Type-C接口QC-3.0,通用交流输入,用于智能手机的恒压电...
发表于 06-19 08:10 179次 阅读
32 W Type-C接口QC-3.0适配器解决方案设计说明

基于NFC技术的智能手机设计

智能手机已成为终端厂商最关注的IT产品之一,如何以最有效率的方式推出各种不同新机型,满足客户营销及市场需求,已成为最重要...
发表于 06-19 06:30 81次 阅读
基于NFC技术的智能手机设计

可重构波束天线技术在增加网络容量应用

  随着数据服务用户数量的不断增加和单位用户流量的增加,全球市场上的无线数据流量正以指数级的趋势不断增加。由于其增大的容...
发表于 06-11 07:31 111次 阅读
可重构波束天线技术在增加网络容量应用

智能手机射频前端控制协议如何调试和测试

近年来智能手机的发展,使射频前端设备的需求量大幅增加,而要兼容所有这些设备非常困难。目前MIPI联盟制定了一套RFFE标...
发表于 06-10 08:09 102次 阅读
智能手机射频前端控制协议如何调试和测试

多模LTE智能手机评估的问题

下一代LTE 移动通讯产品有望成为新的全球标准。但是,因为在初始阶段LTE 的服务范围有限,所以LTE 智能手机还必须支持其...
发表于 06-05 07:16 124次 阅读
多模LTE智能手机评估的问题