您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
行业云 正文
发私信给王德清
发送

0

微软开放AI安全风险评估工具Counterfit源代码

本文作者:王德清 2021-05-06 08:55
导语:如何保证AI系统的稳定性和安全性,正成为一个问题

近日,微软开源了AI安全风险评估工具Counterfit,该工具旨在帮助开发人员测试AI和机器学习系统的安全性。该公司表示,Counterfit可以使组织进行评估,以确保其业务中使用的算法是可靠和可信赖的。

当前,人工智能技术正越来越多地应用在医疗,金融和国防等受监管的行业中。但是,组织在采用风险缓解策略方面处于落后状态。一个微软的调查发现,部分企业用户表示,他们没有合适的资源,以确保他们的AI系统的稳定性和安全性。

微软表示,Counterfit诞生于该公司评估AI系统是否存在漏洞的需求,目的是主动保护AI服务。该工具起初是专门为目标AI模型编写的攻击脚本集,然后演变为自动化产品以对多个系统进行大规模基准测试。

在底层,Counterfit是一个命令行实用程序,为对抗性框架提供了一层,并预先加载了可用于逃避和窃取模型的算法。Counterfit寻求使安全社区可以访问已发布的攻击,同时提供一个界面,通过该界面可以构建,管理和发起模型攻击。

当使用Counterfit在AI系统上进行渗透测试时,安全团队可以选择默认设置,设置随机参数或自定义每个参数以覆盖广泛的漏洞。具有多个模型的组织可以使用Counterfit的内置自动化功能进行扫描,并可以选择多次扫描,以创建操作基准。

Counterfit还提供日志记录以记录针对目标模型的攻击。正如微软指出的那样,遥测技术可能会促使工程团队提高对系统故障模式的了解。


在内部,微软将Counterfit用作其AI红色团队运营的一部分,并在AI开发阶段中使用,以在漏洞投入生产之前发现漏洞。该公司还表示,它已经与多家客户进行了Counterfit的测试,其中包括航空航天巨头空客公司(Airbus),该公司正在开发基于Azure AI服务的AI平台。

“人工智能在工业中的使用越来越多”。空客公司高级网络安全研究员Matilda Rhode在一份声明中说:“确保这种技术的安全至关重要,特别是要了解在问题空间中可以在何处实现特征空间攻击。”

基本上,企业希望人们相信AI是不受操纵,是安全的。1月发布的Gartner的“管理AI风险的5大优先事项”框架中的一项建议是,组织“ 针对攻击性攻击采取特定的AI安全措施,以确保抵抗和复原力。” 这家研究公司估计,到2024年,实施专门的AI风险管理控制的组织将避免负面的AI结果的发生频率是未消除负面结果的两倍。”

根据Gartner的 一份报告,到2022年,所有AI网络攻击中有30%将利用训练数据中毒,模型盗窃或对抗性样本攻击以机器学习为动力的系统(雷锋网雷锋网(公众号:雷锋网)雷锋网)

本文编译自:https://venturebeat.com/2021/05/04/microsoft-open-sources-counterfit-an-ai-security-risk-assessment-tool/

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说