0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI安全基准测试 v0.5: 聚焦通用聊天文本模型安全性

微云疏影 来源:综合整理 作者:综合整理 2024-04-19 11:12 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

据了解,国际知名人工智能社区MLCommons近期推出了AI Safety人工智能安全基准测试的v0.5版,该测试由多领域专家团队共同打造,以识别并防范AI应用中的潜在风险。

随着AI技术的快速发展,相关安全问题也日益凸显。仅过去数周内,便有LastPass公司遭遇音频深度伪造攻击等案例浮出水面。为了应对这一挑战,新推出的AI Safety基准测试将成为模型开发者的有力工具,助力他们构建更为稳固的安全防线。

AI Safety基准测试主要通过大型语言模型对各类危险提示词的反应来评估其安全性。该测试的v0.5版已开始收集社区反馈,预计将于今年晚些时候推出正式的v1.0版。

v0.5版的AI Safety基准测试主要关注通用聊天文本模型,而v1.0版则将加入针对图像生成模型的测试内容,并初步探讨交互式代理模型的安全测试方法。

该测试涵盖了超过43000个测试提示词,采用Meta公司的Llama Guard对大模型的危险提示响应进行评估。这些提示词包括常见模板及危险场景描述短语,覆盖七类安全危害类型,未来还将进一步扩展至至少十三类。

最后,AI Safety基准测试将根据测试结果给出五个安全评级,以便用户更好地理解和使用。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1822

    文章

    50611

    浏览量

    268229
  • 模型
    +关注

    关注

    1

    文章

    3902

    浏览量

    52412
  • ai技术
    +关注

    关注

    1

    文章

    1316

    浏览量

    25864
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    全域复杂环境飞行适应AI评估系统融合大模型人工智能技术

    全域复杂环境飞行适应AI评估系统融合大模型人工智能技术 一、系统概述 北京华盛恒辉全域复杂环境飞行适应AI评估系统本系统面向航空、无人飞
    发表于 05-29 11:37

    AI模型微调企业项目实战课

    的“红蓝对抗”评测集。通过自动化评测体系,从准确安全性、合规等多个维度给微调模型打分,确保它在回答专业问题的同时,严格遵守企业设定的安全
    发表于 04-16 18:48

    请问VisionFive 2 的热安全性如何?

    我的 VisionFive 2 目前没有风扇。如果我开始以 100% 的速度使用 CPU,我应该担心它过热吗? 为了安全起见,它会进行热节流吗? 如果是这样,如何查看它是否处于热节流状态?
    发表于 02-27 06:31

    模型 ai coding 比较

    ; sonnet4.5 > m2.5 但是我 希望从自身实践的角度 进行测试,我把所有的平台都办了月卡 我在这个基础上 添加了deepseek v3 结论 确实opus 4.6 更适合 ai coding
    发表于 02-19 13:43

    应对车辆AI安全性挑战,ISO/PAS 8800标准深度拆解

    为确保道路车辆中AI系统的安全性,国际标准化组织以ISO 26262与ISO 21448为基础,并参考ISO/IEC TR 5469,制定了ISO/PAS 8800道路车辆人工智能安全标准。该标准
    的头像 发表于 02-02 16:01 501次阅读
    应对车辆<b class='flag-5'>AI</b><b class='flag-5'>安全性</b>挑战,ISO/PAS 8800标准深度拆解

    嵌入式软件单元测试AI自动化与人工检查的协同机制研究:基于专业工具的实证分析

    分析、工具评估、实证研究与标准解读,得出以下结论: ‌嵌入式软件因安全关键、实时与硬件耦合,对单元测试的要求远高于
    发表于 12-31 11:22

    请问CW32L052C8T6这种安全性低功耗MCU的安全固件部分怎么实现?

    请问,CW32L052C8T6这种安全性低功耗MCU的安全固件部分怎么实现?
    发表于 12-05 07:19

    软包电池测试全指南:性能、安全与可靠全面解析

    外观、尺寸、电化学性能、安全性、环境适应等多个方面。广东贝尔提供全套软包电池测试设备,包括:1、安全性测试设备(短路/针刺/挤压/燃烧)
    的头像 发表于 11-01 15:25 1841次阅读
    软包电池<b class='flag-5'>测试</b>全指南:性能、<b class='flag-5'>安全</b>与可靠<b class='flag-5'>性</b>全面解析

    边聊安全 | 智能驾驶时代的新挑战:AI功能安全

    智能驾驶时代的新挑战:AI功能安全写在前面:随着人工智能(AI)技术在自动驾驶汽车等领域的快速发展,其功能安全性成为了一个不可忽视的议题。功能安全
    的头像 发表于 09-05 16:20 1935次阅读
    边聊<b class='flag-5'>安全</b> | 智能驾驶时代的新挑战:<b class='flag-5'>AI</b>功能<b class='flag-5'>安全</b>

    有哪些技术可以提高边缘计算设备的安全性

    边缘计算设备的安全性面临分布式部署、资源受限(算力 / 存储 / 带宽)、网络环境复杂(多无线连接)、物理接触易被篡改等独特挑战,因此其安全技术需在 “安全性” 与 “轻量化适配” 之间平衡。以下从
    的头像 发表于 09-05 15:44 1997次阅读
    有哪些技术可以提高边缘计算设备的<b class='flag-5'>安全性</b>?

    如何验证硬件加速是否真正提升了通信协议的安全性

    验证硬件加速是否真正提升通信协议的安全性,需从 安全功能正确、抗攻击能力增强、安全性能适配、合规一致 等核心维度展开,结合实验室
    的头像 发表于 08-27 10:16 1459次阅读
    如何验证硬件加速是否真正提升了通信协议的<b class='flag-5'>安全性</b>?

    如何利用硬件加速提升通信协议的安全性

    特性增强安全性(而非仅依赖软件防护)。其本质是 “将安全计算从通用 CPU 卸载到专用硬件”,既解决软件处理安全操作的性能瓶颈,又规避软件层可能存在的漏洞(如内存泄露、侧信道攻击风险)
    的头像 发表于 08-27 09:59 1301次阅读
    如何利用硬件加速提升通信协议的<b class='flag-5'>安全性</b>?

    请问DM平台访问安全性如何控制?

    DM平台访问安全性如何控制?
    发表于 08-06 06:01

    AI应用的“安全锁”:安全闪存技术在满足行业认证中的作用

    全面审视并应对网络攻击威胁,在确保AI应用持续稳定运行的同时保障其安全性。数据投毒、分类模型篡改、后门注入攻击以及AI模型逆向工程,这些仅仅
    发表于 07-15 10:51 1582次阅读

    关于鸿蒙App上架中“AI文本生成模块的资质证明文件”的情况说明

    的应用缺少AI文本生成模块的资质证明文件,不符合相关法律法规要求。 修改建议:AI文本生成模块需补充提供《安全评估报告》并加手写签名、《
    发表于 06-30 18:37