据了解,国际知名人工智能社区MLCommons近期推出了AI Safety人工智能安全基准测试的v0.5版,该测试由多领域专家团队共同打造,以识别并防范AI应用中的潜在风险。
随着AI技术的快速发展,相关安全问题也日益凸显。仅过去数周内,便有LastPass公司遭遇音频深度伪造攻击等案例浮出水面。为了应对这一挑战,新推出的AI Safety基准测试将成为模型开发者的有力工具,助力他们构建更为稳固的安全防线。
AI Safety基准测试主要通过大型语言模型对各类危险提示词的反应来评估其安全性。该测试的v0.5版已开始收集社区反馈,预计将于今年晚些时候推出正式的v1.0版。
v0.5版的AI Safety基准测试主要关注通用聊天文本模型,而v1.0版则将加入针对图像生成模型的测试内容,并初步探讨交互式代理模型的安全测试方法。
该测试涵盖了超过43000个测试提示词,采用Meta公司的Llama Guard对大模型的危险提示响应进行评估。这些提示词包括常见模板及危险场景描述短语,覆盖七类安全危害类型,未来还将进一步扩展至至少十三类。
最后,AI Safety基准测试将根据测试结果给出五个安全评级,以便用户更好地理解和使用。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
人工智能
+关注
关注
1822文章
50611浏览量
268229 -
模型
+关注
关注
1文章
3902浏览量
52412 -
ai技术
+关注
关注
1文章
1316浏览量
25864
发布评论请先 登录
相关推荐
热点推荐
全域复杂环境飞行适应性AI评估系统融合大模型人工智能技术
全域复杂环境飞行适应性AI评估系统融合大模型人工智能技术
一、系统概述
北京华盛恒辉全域复杂环境飞行适应性AI评估系统本系统面向航空、无人飞
发表于 05-29 11:37
AI大模型微调企业项目实战课
的“红蓝对抗”评测集。通过自动化评测体系,从准确性、安全性、合规性等多个维度给微调模型打分,确保它在回答专业问题的同时,严格遵守企业设定的安全
发表于 04-16 18:48
请问VisionFive 2 的热安全性如何?
我的 VisionFive 2 目前没有风扇。如果我开始以 100% 的速度使用 CPU,我应该担心它过热吗?
为了安全起见,它会进行热节流吗?
如果是这样,如何查看它是否处于热节流状态?
发表于 02-27 06:31
大模型 ai coding 比较
; sonnet4.5 > m2.5
但是我 希望从自身实践的角度 进行测试,我把所有的平台都办了月卡
我在这个基础上 添加了deepseek v3
结论
确实opus 4.6 更适合 ai coding
发表于 02-19 13:43
应对车辆AI安全性挑战,ISO/PAS 8800标准深度拆解
为确保道路车辆中AI系统的安全性,国际标准化组织以ISO 26262与ISO 21448为基础,并参考ISO/IEC TR 5469,制定了ISO/PAS 8800道路车辆人工智能安全标准。该标准
嵌入式软件单元测试中AI自动化与人工检查的协同机制研究:基于专业工具的实证分析
分析、工具评估、实证研究与标准解读,得出以下结论:
嵌入式软件因安全关键性、实时性与硬件耦合性,对单元测试的要求远高于
发表于 12-31 11:22
有哪些技术可以提高边缘计算设备的安全性?
边缘计算设备的安全性面临分布式部署、资源受限(算力 / 存储 / 带宽)、网络环境复杂(多无线连接)、物理接触易被篡改等独特挑战,因此其安全技术需在 “安全性” 与 “轻量化适配” 之间平衡。以下从
如何利用硬件加速提升通信协议的安全性?
特性增强安全性(而非仅依赖软件防护)。其本质是 “将安全计算从通用 CPU 卸载到专用硬件”,既解决软件处理安全操作的性能瓶颈,又规避软件层可能存在的漏洞(如内存泄露、侧信道攻击风险)
AI应用的“安全锁”:安全闪存技术在满足行业认证中的作用
全面审视并应对网络攻击威胁,在确保AI应用持续稳定运行的同时保障其安全性。数据投毒、分类模型篡改、后门注入攻击以及AI模型逆向工程,这些仅仅
发表于 07-15 10:51
•1582次阅读
关于鸿蒙App上架中“AI文本生成模块的资质证明文件”的情况说明
的应用缺少AI文本生成模块的资质证明文件,不符合相关法律法规要求。
修改建议:AI文本生成模块需补充提供《安全评估报告》并加手写签名、《
发表于 06-30 18:37
AI安全基准测试 v0.5: 聚焦通用聊天文本模型安全性
评论