大模型开发：从预训练到企业微调培训-中科信软培训中心

大模型开发：从预训练到企业微调培训

培训对象
算法工程师、AI研发团队、数据科学家、企业AI负责人（需具备深度学习基础）。

培训目标
理解大模型原理，能够基于开源模型（LLaMA、Qwen、Baichuan）进行数据准备、微调、评估与私有化部署，适用于企业垂直领域。

培训内容

大模型架构深度解析：Transformer、注意力机制、MoE、长上下文。
开源模型选型：参数规模、基座 vs 对话模型、中文能力、商用许可。
数据工程：预训练数据清洗、指令数据构建、偏好对数据格式。
高效微调方法（PEFT）：LoRA、QLoRA、Adapter，显存优化技巧。
微调实战（单卡/多卡）：使用LLaMA-Factory或XTuner微调Qwen/LLaMA。
指令微调与对话模板：构建企业专属角色、风格与任务格式。
偏好对齐（DPO）：基于用户反馈优化模型回复倾向。
模型评估体系：MMLU、C-Eval、自定义业务测试集、人工评估。
模型量化与加速：GPTQ、AWQ量化，vLLM推理框架部署。
私有化部署方案：基于TGI、FastChat或Ollama的内部GPU/CPU推理服务。
持续学习与更新：增量微调、RAG与微调的协同策略。
实战项目：针对企业内部文档（如制度、产品手册），微调一个小参数大模型（7B-14B）并部署为内部问答机器人。

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请

服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。

专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获