▼最近直播超级多，预约保你有收获
今晚直播：《LLM 大模型微调最佳实战案例》
—1—
为什么要对大模型进行微调（Fine-tuning）？
与其说对 LLM 大模型（比如：ChatGPT）进行微调，不如说“能力增强”更体贴，由于 LLM 大模型的预训练的数据样本知识容量“相对有限”，造成 LLM 大模型有以下3个方面的缺陷：第一、知识库更新不及时，比如：GPT 4 Turbo 的知识截止时间是 2023年04月，你问它 OpenAI 的宫斗大戏，它是不知道的。第二、缺少企业级高质量垂直数据知识，比如：企业内部的项目数据、流程数据、业务数据、代码数据等，造成在行业垂直问答会出现一定的幻觉现象。第三、数据安全和隐私问题是每个企业的生命线，企业需要牢牢掌握在自己手里，稳定性也是企业密切关注的，比如：最近的阿里云大事故、滴滴大事故、ChatGPT 崩溃事故等，让企业对数据安全和稳定性更加敬畏，如履薄冰。解决 LLM 大模型的上述缺陷，就有了大模型能力增强技术，从广义来讲，LLM 能力增强技术有两条路线：微调（Fine-tuing）和 RAG（Retrieval Augmented Generation）。
今天我们先分下微调（Fine-tuning）能力增强技术。 —2—
大模型微调（Fine-tuning）技术落地
大模型微调有2种方式，全参数 Fine-tuning 和 小参数量 Fine-tuning。全参数 Fine-tuning 成本实在太高，比如：GPT-3 全参数微调一次要花费 140万美金，因此在企业实际实践中使用的是小参数量微调，又称为参数高效微调 PEFT（Parameter Efficient Fine Tuning）。PEFT 在企业中常用的实践方法有以下几种：Prompt-tuning、Prefix tuning、Adapter、LLaMA-adapter、P-Tuning V2、LoRA 等。这几种常用的微调方式准确性（Acc）和损失（Loss）实践对比如下：第一、数据工程，准备好需要微调的样本数据，按照大模型的微调数据格式整理好，比如：{“context”：“双12马上到了，应该给程序员同学推荐什么类型的学习课程？”，“target”：“AIGC 学习计划”}。第二、选用参数高效微调框架，推荐 https://github.com/huggingface/peft第三、选用微调 LLM 大模型，推荐清华智谱 ChatGLM3。第四、配置 LLM 大模型微调参数，开始微调训练。第五、按照验证数据集，对微调后的 LLM 大模型进行数据验证。
更详细的实践落地步骤和代码实现放在今晚20点的直播中详细剖析，请同学们点击免费预约。总之，掌握好 LLM 大模型微调技术架构和落地实现，对于 IT 人来说是一项非常重要的技能，它可以让您的 LLM 大模型业务研发更高效和创新。
—3—
纯干货 LLM 大模型微调技术实战直播
为了帮助同学们掌握好 LLM 大模型微调技术架构和落地实现案例，今晚20点，我和陈东老师会开一场直播和同学们深度聊聊：
第一、PEFT 高效参数微调技术架构剖析；
第二、PEFT 高效参数企业级微调案例实战；
第三、SQL 等更多业务场景微调案例；
请同学点击下方按钮预约直播，咱们今晚20点直播间！
