▼最近直播超级多,预约保你有收获
今晚直播:《ChatGPT架构设计与应用案例实践》
—1—
ChatGPT 架构设计剖析
ChatGPT 总体架构由三大部分构成:预训练(Pre-training)架构、微调(Fine-tuning)架构、推理(Reasoning)架构。其中预训练架构建立在 Transformer 神经网络基础上,构建出一个 Base Model,微调架构加入了10万级别的人工样本,微调 Base Model 得到 SFT Model, 并进一步使用奖励模型强化 SFT Model,训练完成。整个训练由于参数量和数据量比较大,需要采用分布式的离线架构。一个好的大模型 = 80% 的数据 + 20% 的模型。因此,ChatGPT 在训练之前需要做大量的数据工程工作,包括:数据抓取、数据清洗、数据样本构建、词表构建算法选择、词表大小构建等关键步骤和流程。除了离线训练外,一旦模型确定训练好权重,实时的在线工程架构设计也变成至关重要。那么,ChatGPT 分布式在线推理架构又是怎么实现的,怎么解决架构设计、架构选型、架构高可用、高性能、负载均衡、幂等、缓存等关键技术?请同学点击下方按钮预约直播,咱们今晚20点直播见!