数码之家

 找回密码
 立即注册
搜索
查看: 208|回复: 1

[业界] 英伟达推出 NIM AI 护栏服务,防止模型遭用户“越狱”

[复制链接]
发表于 2025-1-19 11:42:18 | 显示全部楼层 |阅读模式


据IT之家 1 月 18 日消息(作者:漾仔),英伟达宣布推出一项名为“NIM”的 AI 护栏服务,该服务现已以英伟达 NeMo 护栏(NeMo Guardrails)套件的形式提供,可以让开发人员为大语言模型(LLM)添加一系列护栏规则,旨在解决用户通过提示词“越狱”大模型,防止 AI 生成不符合预期的内容。


英伟达表示,相应 AI 护栏服务套件基于英伟达的 Aegis 内容安全数据集进行训练而成,该数据集包含了 3.5 万个标注的数据样本,并已在 Hugging Face 上公开,IT之家附地址如下(点此访问)。


英伟达指出,相应 AI 护栏套件具有体积小、效率高的特点,在大部分场合中都能流畅运行,企业可以在开发 AI 模型时直接嵌入相应安全套件,可以改善医疗、汽车、制造业等领域部署的 AI 安全性。


此外,英伟达还提供了公布了一项名为 Garak 的漏洞扫描工具,用于检测模型的安全性,防止模型可能输出幻觉内容或泄露企业内部机密信息。


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
发表于 2025-1-19 13:23:36 | 显示全部楼层
有围栏就可能有能越狱的漏洞。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

APP|手机版|小黑屋|关于我们|联系我们|法律条款|技术知识分享平台

闽公网安备35020502000485号

闽ICP备2021002735号-2

GMT+8, 2025-2-9 19:42 , Processed in 0.296401 second(s), 11 queries , Redis On.

Powered by Discuz!

© 2006-2023 smzj.net

快速回复 返回顶部 返回列表