2026年人工智能安全治理框架3.0发布，强化智能体全生命周期风险防控

AI大模型正从信息处理工具逐步进入企业生产、研发、办公和业务决策等环节。多家国际大模型企业披露了模型在网络安全测试和实际恶意使用中的相关情况。OpenAI披露了相关安全事件，Anthropic发布了威胁情报报告，内容涉及AI滥用情况。随着AI智能体发展，相关安全问题涉及模型输出层、应用、数据、身份及执行权限等环节，包括模型可调用哪些工具、访问哪些数据、连接哪些系统、获得多大执行权限，以及实际执行过程偏离预设目标时能否及时发现和阻断。

企业将大模型接入内部知识库、数据库、业务系统和各类API后，AI与传统IT基础设施联系加深。大模型接入企业知识库后可调用内部信息，接入业务系统后可执行相关任务，发展到AI智能体后可根据任务目标自主规划步骤、调用工具并连续执行。模型层面的安全问题涉及提示词注入、越狱、模型窃取、训练数据污染和恶意输入等。应用层面，大模型与插件、API、知识库和业务系统连接后，会带来新的接口和权限风险。执行层面，AI智能体操作能力增强后，安全链条涉及身份认证、权限控制、行为审计和异常拦截等环节。

“十五五”规划纲要明确提出全面实施“人工智能+”行动，健全新技术新业态安全监管框架，完善人工智能领域相关法律法规、政策制度、应用规范和伦理准则，健全算法备案、透明度管理、安全评估等制度，并推动建立人工智能全生命周期风险管理制度，形成覆盖安全监测、风险预警和应急响应的风险防控体系。

2026年9月14日，全国网络安全标准化技术委员会发布《人工智能安全治理框架3.0》，围绕人工智能发展带来的新趋势和安全治理新挑战，更新风险分类、技术应对以及综合治理措施，推动人工智能安全治理体系进一步完善。