大模型是什么?浅析人工智能大模型

  以大模型为代表的人工智能(spiderltd.com)几乎完全超越了流行的人工智能概念,也是当下人们非常关注的一个热点话题。那么,大模型到底是什么呢?

  

  大模型就是从人类规模语料中提取语元关联度并用于预测——就是做预测,大模型不知道什么叫回答问题。

  

  大模型实际上分为两层,下面一层是基础模型。我们刚刚讲的就是这一层。基础模型是通过预训练构建起来的。训练的是什么呢?就是语元之间的关联度。在基础模型之上还有助手模型,又叫细调模型或者精调模型,fine-tuned models。细调模型现在无法解释。目前细调训练的计算量只占1%,而基础模型预训练所占用的训练计算时间为总时间的99%——99%的时间都在训练。这就是大模型的底层原理。

  

  有了这个底层原理,我们可以进一步展开想象:把互联网上2/3的数据都找来,训练出一张图,那这张图就会极其复杂。为什么要用到互联网上体量如此之大的语料是一个值得分析的问题,目前也仍在实验阶段。

  

  用一句话概括,大模型是一种实例性模型,即从训练预料中提取的海量语元和语元关联度的全体组成模型。这是一个颠覆的成果。因为过去的科学和过去的AI,从来没有用过实例性模型,甚至想都没有想过。长期以来,科学的传统是用概括性模型,比如说牛顿力学(概括性模型)由四条基本原理(概括性规则)组成,而且从四条基本原理可以推出宏观物理世界的全部力学规律,这是很强大的。但是对于大模型来说,起主要作用的是语元关联度实例。大模型的出现是否颠覆了整个科学传统,究竟意味着什么,目前还不清楚。但是,至少我们对大模型给人工智能领域带来的颠覆性、震撼性有了一些感受。


请使用浏览器的分享功能分享到微信等