你好啊，我是雨飞，见字如面。

01

前言

今天，刚完成在破局行动的直播分享，这次直播的主题是《RAG：AI 时代的新范式》，借助这次机会，和大家解读下，AI 发展历程中的四个范式的来历。

02

AI时代的四个范式

我们从 AI 的发展史讲起，整个 AI 的发展可以分为下面几个时期，我们现在所处的就是预训练、提示、预测也就是提示词学习的时代。

在机器学习时代，我们做NLP的通常做法是使用一些统计学的方法去计算文本的特征，包括一段文字中出现了几个词，这些词的词性是什么，某两个词同时出现的概率。

这些特征都需要我们人工去定义和维护，对比与现在的提示词工程，这个时代我们称为特征工程。然后会使用一些概率统计模型，如贝叶斯、veterbi算法、隐马尔可夫模型、支持向量机、条件随机场，去根据不同的任务类型选择算法，然后完成任务。

第一范式的缺点非常明显，人工定义和抽取这些特征，费时、费力，而且需要大量的专家经验。为此，第二范式的提出，使用神经网络去隐式的抽取文本中的特征，节省了大量的人力资源。

在这一时代，被我们定义为深度学习的时代，具有划时代意义的节点就是2012年的ALexNet在ImageNet比赛，一举夺冠，引发了人们对深度学习的思考和认识。

从这个节点之后，很多我们常见的算法模型，比如CNN、RNN、LSTM，被引入到NLP以及CV领域，引发了全民深度学习的浪潮。当然，你应该在很多地方看到的Transformer，也都是这个时代的结果。

许多被现在人熟知的专业术语也开始流传，比如embedding、attention、激活函数、优化器、knowledge graph等等。而这些内容，后面将是你学习的重点，它为下一个时代的到来打下了坚实的基础。

第三范式的到来是以18年的BERT、GPT模型为代表的，指在海量的无监督数据集进行预训练，然后利用预训练好的模型在下游任务的特定数据集上进行微调的阶段。这一阶段，是算力和数据量的比拼，BERT在18年横扫了无数NLP领域的任务，使得我们只需要基于一个训练好的大模型就可以完成很多任务。之前一个模型解决一个问题的时代，已经不复存在，很多领域的研究也就变得没有价值。

第四范式的到来和模型的参数量变大是分不开的，18年的GPT1不过117M的参数，但是GPT3已经是175B，这巨大的参数量不仅带来了模型效果的提升，同时也使得微调大模型变得困难。这也就引导人们尝试使用另外的方法去使用和微调大模型。【注：M 表示百万，B代表十亿】

第四范式就是让我们更希望通过对提示词（prompt）的利用去构建下游任务，而尽量少的对上游大模型的参数进行调整。通过合适的提示词来实现在大模型上直接解决下游任务，借助于基座大模型的能力，从而使得小样本、零样本学习成为可能。

如果说第三范式的微调，是修改大模型的参数，让其更好的适配下游任务，那么第四范式就正好相反，提示的过程是在重新构建下游任务，而不必修改大模型的参数。在高昂的算力和数据成本之下，第四范式提供了利用大模型的一个更好的思路，引发了提示词工程的火热。

而 RAG ，就是在第四范式下，诞生的一门工程和算法结合的技术，在后续的文章中，我们会持续更新相关的内容。

欢迎点赞，留下你的名字，祝，万事顺利?。

❤️往期经典好文❤️

14句话看完雷军年度演讲，勇气就是人类伟大的赞歌。

分享几个我一直在用的AI编程工具，免费且好用。

AI工具：体验了一下天工AI，我想这才是未来该有的样子。99%的需求都可以一键满足。

❤️商业咨询案例❤️

现在AI这么火，我有必要搞个副业吗？|咨询师日记 Vol.12

17999的张雪峰咨询费出不起，99的AI志愿填报可行吗？|咨询师日记Vol.11