未来的AI开发将注重每个环节的安全和风险管理

01

简介

开发智能机器的历程使我们踏上了一条充满发现、惊奇、敬畏和关注的道路。即使还有如此多尚未发现的东西，我们仍然知道对安全AI的追求将改变我们设计、开发智能产品并将其推向市场的方式。安全的AI不仅需要我们像保护网络安全那样防御外部黑客的入侵，还必须确保AI的行为是安全的。未来的AI开发将注重开发过程每个环节的安全和风险管理。

02

AI标准和指南中的安全问题

AI安全工程的一项需求是拥有可广泛获取的人工智能开发实用指南和标准。尽管诸多标准组织和协会正为建立这些资源而努力，但距离达成共识还很遥远（这里又涉及价值观一致性问题），更不要说具体的技术指导。 同时，航空航天和医疗制造业等极度重视安全的行业提供了或可借用的风险管理模型，可满足短期AI安全需求，并为最终的标准和框架奠定基础。特别是可通过Delphi方法将专家的集体智慧和判断、不同AI系统类型的风险评估以及软硬起飞场景的结果组织起来。

03

设计创意和流程中的安全考虑

从设计创意开始，一直到将产品推向市场的流程中，一个相关的需求就是在整个过程中都主动将安全性纳入工程设计的所有领域。 对于许多开发团队来说，这将意味着改变，而我们必须直面这种改变。看看互联网。看看嵌入式系统。现实情况是，大多数行业都是直到产品开始取得成功后才将大量资源投入安全领域。在智能系统中放任安全性问题不管可能会有巨大的隐患，因为可能不会有亡羊补牢的机会。

04

用户需求中的安全问题

工程安全AI将需要工程师透过用例表面，真正了解用户的价值观和偏好。我们习惯于蜻蜓点水地对待用例和用户反馈；但是，第2部分中讨论的价值观一致性问题告诉我们，我们需要更深入地了解实际需求。 例如，如果我们问一个学生为什么要上学，她可能会告诉您她想获得知识，希望学习感兴趣的领域。可是研究表明，真正的原因或其他原因还包括：取得文凭、获得同龄人认可或者长大以后能多赚钱等。作为工程师，如果我们在开发智能产品时仅关注表面上的用户需求和反馈，就有可能会开发出实际上无法满足用户需求的产品……无用的智能。

05

漏洞评估中的安全问题

在流程的每个环节，都必须考虑并解决产品的安全性及智能（记忆、处理速度等）问题。黑客只需要在这种无限的可能性中找到一个弱点即可，但是AI可能会以我们无法预测甚至无法想象的方式运用智能：

有哪些潜在的产品漏洞？

有哪些潜在的滥用行为？

各项功能可能会遭到怎样的滥用？

每种情况下会如何发生事与愿违的事情？

数据安全是否有保障？

我们如何知道？

产品包含的智能是否超出了必要？

这可能会遭到怎样的滥用？

如何保障安全？

06

结论

工程安全AI将改变我们的流程、思维方式和优先考虑事项。要拥有AI开发框架和标准，工程安全AI还有很长的路要走。同时，借鉴航空航天和医疗器械行业的做法将非常有用，在产品开发流程的所有方面纳入安全考量同样也有帮助。

原文标题：AI安全工程将如何让工程学改头换面

文章出处：【微信公众号：贸泽电子】欢迎添加关注！文章转载请注明出处。

责任编辑：haq