大模型微调：LLaMA/GLM/通义千问实战培训课程
-
-
培训对象： AI算法工程师、大模型应用开发者、NLP从业者、希望定制私有大模型的技术人员。
-
-
培训目标：
-
理解大模型微调的原理和方法（全量微调/LoRA/P-Tuning）。
-
掌握主流大模型（LLaMA、ChatGLM、通义千问）的本地部署。
-
能够使用微调框架（LLaMA-Factory、Firefly）进行指令微调。
-
具备微调数据准备和模型评估能力。
-
-
培训内容介绍：
-
一、 大模型基础与微调概念： 了解预训练大模型的发展历程，理解微调（Fine-tuning）与上下文学习的区别。
二、 参数高效微调技术： 深入LoRA、Adapter、P-Tuning、Prefix Tuning的原理，对比参数量和效果。
三、 LLaMA系列模型介绍与部署： 了解LLaMA、Llama 2、Llama 3的模型特点，使用Transformers库加载和推理。
四、 ChatGLM系列模型介绍与部署： 掌握ChatGLM2/3/4的模型结构，本地部署GLM模型并调用API。
五、 通义千问模型介绍与部署： 了解通义千问系列（Qwen）的特点，使用ModelScope或HuggingFace加载模型。
六、 微调数据准备与格式转换： 收集和清洗微调数据，转换为指令微调格式（Alpaca、ShareGPT），处理多轮对话。
七、 LLaMA-Factory微调框架： 使用LLaMA-Factory统一管理模型和数据，配置LoRA微调参数，启动训练。
八、 Firefly微调框架实战： 使用Firefly进行流式微调，支持多轮对话和工具调用数据的处理。
九、 微调过程监控与调试： 监控训练损失变化，调整学习率和批次大小，处理过拟合和灾难性遗忘。
十、 模型合并与导出： 将LoRA权重合并到基础模型，导出为HuggingFace格式或GGUF格式供量化部署。
十一、 微调效果评估： 使用客观指标（困惑度）和主观评估（人工评测）对比微调前后的效果。
十二、 实战项目：领域大模型微调： 针对特定领域（法律、医疗、金融）准备数据，微调大模型并部署测试。
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表点击在线申请
服务特点：
海量专家资源，精准匹配相关行业，相关项目专家，针对实际需求，顾问式咨询，互动式授课，案例教学，小班授课，实际项目演示，快捷高效，省时省力省钱。
专家力量：
中国科学院软件研究所，计算研究所高级研究人员
oracle,微软，vmware，MSC,Ansys，candence,Altium,达索等大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关技术专业，理论素养丰富
多年实际项目经历，大型项目实战案例，热情，乐于技术分享
针对客户实际需求，案例教学，互动式沟通，学有所获
