AI安全治理 —— 大模型安全与合规实战培训课程-中科信软培训中心

AI安全治理 —— 大模型安全与合规实战培训课程

一、培训对象

AI安全工程师、安全架构师、合规与风控人员、法务与治理人员、模型安全评估人员

二、培训目标

掌握大模型安全风险识别、评估与防御的核心能力
建立覆盖数据、模型、应用、合规的全链路安全治理体系
具备开展自动化红队测试、对抗性评估与安全微调的实战能力
能够主导企业级AI安全治理体系建设与合规落地

三、培训内容

1. 大模型安全风险全景

大模型安全风险分类框架（OWASP LLM Top 10、MITRE ATLAS）
内生安全风险：幻觉、偏见、有害内容、越狱、提示词注入
外延安全风险：数据泄露、供应链攻击、滥用与误用
新兴风险：Agent安全、多模态安全、长上下文注入

2. 提示词注入与越狱攻击

提示词注入的原理与变种（直接注入、间接注入、嵌套注入）
越狱攻击手法：DAN、角色扮演、编码绕过、token走私
多模态越狱（图像、音频注入）的威胁与防御

3. 对抗性防御策略

输入过滤机制：提示词检测器、敏感词过滤、格式验证
输出审核机制：内容分类器、拒答检测、安全评分
系统性防御：系统提示词加固、护栏规则引擎、沙箱隔离

4. 安全微调与对齐强化

安全对齐数据集构建（有害内容、偏见、越狱样本）
基于RLHF/DPO的安全对齐强化训练
安全微调的效果评估与鲁棒性测试

5. 数据隐私与版权治理

训练数据隐私风险：成员推断、数据反演、隐私泄露
差分隐私（DP）在微调中的应用
版权合规治理：数据来源追溯、水印技术、版权声明机制

6. 内容风控与价值观对齐

多维度敏感内容分类体系（涉政、色情、暴力、歧视、偏见）
动态敏感词库与上下文语义检测
社会主义核心价值观对齐的工程实现与评估

7. 自动化红队测试

红队测试方法论与工具链（Garak、Promptfoo、LangTest）
对抗性提示词自动生成策略
红队测试报告标准与漏洞追踪管理

8. 模型安全评估体系

安全评估指标框架（鲁棒性、真实性、公平性、安全性）
标准化评估基准（SafetyBench、CValues、Do-Not-Answer）
自动化评估流水线与模型安全评分卡

9. Agent安全与工具调用安全

Agent系统的独特安全风险：规划误导、工具滥用、权限越界
工具调用安全设计：工具白名单、参数校验、操作审计
多Agent协作中的安全风险与防护

10. RAG系统安全设计

向量数据库安全：访问控制、数据加密、隔离策略
检索内容安全：敏感文档拦截、检索结果过滤
检索增强的安全风险：检索中毒、对抗性检索

11. 合规治理与监管应对

《生成式人工智能服务管理暂行办法》等国内外法规解读
算法备案、安全评估、合规审计的流程与材料准备
跨境数据传输与境外合规要点

12. 安全事件响应与治理体系

安全事件分类分级与应急响应流程
模型熔断机制：一键熔断、动态降级、版本回滚
安全治理组织架构、制度流程与文化构建
安全左移：在AI开发全生命周期嵌入安全控制点

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。

专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获