2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

AI Agent带来哪些安全风险?如何应对?

发布日期:2024-09-27 07:32:50 浏览次数: 4434
作者:沙丘社区

微信搜一搜,关注“沙丘社区”


根据沙丘智库发布的《2024中国AI Agent市场指南》,AI Agent是一种具有自主性或半自主性的智能实体,能够利用人工智能技术在数字或物理环境中感知、决策、采取行动并实现目标,这种能力使得AI Agent有可能彻底改变各行各业和各种环境。
大模型缺少在最少的人类监督下自主行动的能力,以及在复杂环境中适应和执行目标的能力,基于大模型的AI Agent利用大模型理解、思考输出的“专家能力”,并附加规划、记忆、执行、工具调用能力,可以替代大量人工执行,消除大模型和真实世界沟通的障碍,解决大模型落地的“最后一公里”。

01

AI Agent带来的新风险

AI Agent具有巨大的应用潜力,但同时也带来了新的安全风险。传统AI模型和应用的安全风险通常限于模型输入、模型处理和模型输出、编排层的软件漏洞以及托管它们的环境。除了这些威胁外,AI Agent还引入了新的人工智能风险。
在使用AI Agent时,安全风险范围扩大到了AI Agent触发和参与的一系列事件和交互中,这些通常对人类或系统操作员来说是不可见的,也无法进行阻止。
AI Agent在执行任务时可能引入的一系列安全问题,包括数据安全、资源管理、恶意活动、编码错误、供应链安全以及恶意代码的传播等,这些问题需要通过适当的安全措施进行解决。AI Agent带来的安全风险包括:
· 数据暴露或外泄:AI Agent在执行任务的过程中可能会在任何环节暴露或外泄敏感数据;
· 过度消耗系统资源:AI Agent在执行和交互的过程中可能会无节制地消耗大量系统资源,无论是有意还是无意,这可能导致系统资源过载;
· 未授权或恶意活动:AI Agent可能会有意或无意地执行未授权或恶意的活动,例如恶意程序或人类的Agent“劫持”行为;
· 编码逻辑错误:AI Agent可能会由于编码逻辑错误导致数据泄露或其他威胁,这些错误可能是未经授权的、意外的或恶意的;
· 供应链风险:使用从第三方网站下载的库或代码用于AI Agent可能会带来供应链风险,这些代码可能被植入了恶意软件,旨在执行恶意任务;
· 恶意代码的传播和复制:使用自动化的Agent流程可能会传播和复制恶意代码,以及通过检索增强生成(RAG)对Agent进行“投毒”触发恶意行为。

02

AI Agent安全风险的应对措施

为了应对上述AI Agent安全风险,企业应采取如下措施:
第一,监控所有AI Agent的行动和信息流;
第二,检测和标记异常的AI Agent行动;
第三,尽可能地使用自动化手段实时修复问题。
这些措施的访问权限应授予给IT、安全或任何其他需要管理AI Agent风险的管理员用户。
(1)监控所有AI Agent的行动和信息流
为了检测异常和违规行为,需要给AI Agent的行动、流程、连接、数据暴露、信息流、输出和响应提供一个全面的仪表盘视图。同时,还需要支持对Aengt的所有交互和活动进行不可更改的审计跟踪。
仪表盘视图应支持对以下内容的可见性:
· 输出的使用情况:AI Agent的输出是如何随时间被组织使用的;
· AI Agent的使用场景:AI Agent被用于哪些具体的用例;
· AIAgent的交互意图:例如Agent的目标、行为和通信方式;
· 是否遵循企业政策:AI Agent的表现是否符合企业可接受的使用政策;
· 是否遵循安全、隐私和法律要求:AI Agent的表现是否符合相关的安全、隐私和法律要求;
· 将AI Agent的行动与企业身份和访问管理(IAM)系统集成,确保可以确定访问权限,并实施最小权限访问控制。
(2)检测和标记异常的AI Agent行动
检测并标记那些异常的AI Agent行动以及违反了企业相关政策的行动。企业在建立了仪表盘视图、确定了预期的行动基线后,就可以开始检测异常的交易和行动。
考虑到AI Agent交互的速度和数量,人工无法进行所有的监督和修复,因此应尽可能对异常交易进行自动修复;对于无法自动修复的异常情况,应该立刻暂停,并转给人工进行审查和修复。
(3)尽可能地使用自动化手段实时修复问题
修复措施应包括适当的限制和缓解措施:
· 数据脱敏:当企业定义的敏感数据(例如,个人身份信息或机密的非结构化信息)传递给Agent系统时,进行脱敏处理;
· 实施最小权限访问:尽可能实施最小权限访问控制。如果检测到违规行为且无法自动修复,则阻止访问,并将问题转发给人工审查和解决;
· 支持特定Agent威胁指标的拒绝列表:基于企业数据相关的威胁情报制定一个特定Agent威胁指标的拒绝列表,Agent在行动时需要根据列表进行验证;
· 支持文件和文件类型的拒绝和接受列表:定义Agent可以访问和不可以访问的文件和文件类型,包括在RAG中支持Agent工作流的文件;
· 实施监控和反馈循环:通过实施监控和反馈循环,识别由于不准确性导致的不需要的行动。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅