你好啊，我是雨飞，见字如面。

01

开篇词

2023 年可谓 AI 新时代的带来，ChatGPT、Stable Diffusion 等生成式模型的飞速发展，让我们看到了 AI 在文字、图像、视频以及多模态交互的无限潜力。

在我国，12 是一个很有纪念意义和情感价值的数字。我们有 12 生肖、一年有 12 个月，在古代一天有 12 个时辰，而 AI 技术一路走来，从 ReLU 算起也已经有 12 年的时间了，从头开始回顾这项技术的发展也能为我们对未来有更好的期待。

这篇文章就结合这十二年来发布的优秀科研论文，为你展示过去人类顶级的研究成果。由于篇幅过长，将分上下两篇文章。

02

2011 激活函数 ReLU

早期的神经网络主要使用 sigmoid 的激活函数，这个函数下界为 0，上界是 1，平滑、易求导。但本身存在不少缺点，简单来说就是当输入的值离 0 较远时，输出的变化非常平缓，非常容易陷入梯度饱和的状态，导致梯度消失的问题。而且 sigmoid 函数的导数取值范围只有（0-0.25]，连乘之后梯度会急速下降，导致梯度消失的问题。

而 ReLU 的提出就是为了解决梯度消失的问题，使得可以训练更深的神经网络。ReLU 的激活函数在输入大于 0 的时候恒为 1，使得梯度连乘不再衰减，从而避免梯度消失的问题。而小于 0 时为 0，增加了网络的稀疏性，可以使模型有更好的泛化性和鲁棒性。

当然，ReLU 函数也有比较明显的缺点，可能导致梯度爆炸、当激活值为负时造成神经元可能会『死亡』，这一年也产生了很多对 ReLU 函数改进的措施，比如 Leaky ReLU、ELU、SeLU 等。

ReLU 这篇论文名称是《Deep Sparse Rectifier Neural Networks》，感兴趣的小伙伴可以去仔细阅读原文。

03

2012 引发人工智能浪潮的 AlexNet

AlexNet 作为最经典的卷积神经网络结构，由 Hinton 和他的学生 Alex Krizhevsky 设计，并在 ImageNet 的图像识别任务比赛中将 top5 的错误率从 26.2% 降低到 15.3%，从数据上看超过亚军 10% 的水平。

AlexNet 中创造性的使用了卷积操作去提取图像的特征，并采用最大池化的方式去保留特征中最关键的信息。同时，AlexNet 引入了 ReLU 的激活函数和局部的归一化、Dropout 等操作来优化模型结构，利用数据增强的策略去扩种训练数据集。通过这些技巧的引入，使得整体效果远超其他竞争者，一举夺冠。

这次的比赛使人们见识到了深度学习算法模型对比传统机器学习算法的强势，后续的一系列我们耳熟能详的卷积神经网络如 GoogleNet、VGG、ResNet 都是受到了它的影响。

AlexNet 这篇论文的名称是《ImageNet Classification with Deep Convolutional Neural Networks》，感兴趣的小伙伴可以去仔细阅读原文。

04

2013 NLP的经典 word2vec；开启深度强化学习的新时代

如果说 2012 年是 CV 工作者的盛宴，那么 2013 年则是 NLP 从业者必须记住的日子。

在这一年，来自 google 的 Thomas Mikolov 等人提出了经典的 word2vec 模型，用于从海量的文本数据中学习单词的语义表示并产生一个低维的向量。这种方法一下取代了传统的词袋模型，并且在向量表示下，人们发现能够直接运用向量的运算去表示不同句子的含义，而且具有相似语义的词在聚类之后会分布在一起。

从这以后，利用向量相似度衡量两个句子的语义相关性成了可能，也为下游的各项任务提供了更高效的表示方法。在这之后，针对语义表示的论文层出不穷，有基于矩阵分解的 GloVe 算法，也有基于语言模型的 ELMO、BERT 等方法。

而在这一年，深度强化学习开始有所突破。DeepMind 团队提出了利用 DQN 的模型去玩雅达利游戏，这是一个很复杂的游戏环境，DQN 中创造性的将价值函数和神经网络相结合，提出了 Q-learning 算法，并用神经网络去生成价值函数。在这之后，深度强化学习开始走进人们的视线，也为后续无数经典之作打下了坚实的基础。

word2vec 的经典论文是《Distributed Representations of Words and Phrases and their Compositionality》

Q-Learning 则可以参考这篇论文《Learning from Delayed Rewards（Q-Learning）》

05

2014 GAN；Adam；Attention机制

2014 年最引人注目的成就来自生成式对抗网络（Generative Adversarial Network， GAN），Ian Goodfellow 等人创造性的提出了一种利用两个不同神经网络相互博弈训练的算法，能够生成非常逼真的图片。

GAN 一经提出就在很多领域受到了广泛的关注，通过生成器和判别器之间的最大最小博弈，GAN 能够建模高维、复杂的数据分布。其中生成器用于从一个噪声分布中生成图片，而判别器则需要判断这个图片是否为生成数据，融合了博弈论的思想。

与此同时，这一年提出的 Adam 优化器使得模型的优化不再要调整过多的参数，被广泛应用到各大论文之中。Adam会对每个参数的不同学习率进行自适应的调整，避免了 SGD 的缺点，而实验也证明，如果你不懂要用什么优化器，那么就用 Adam 吧。

这一年，注意力机制（Attention）的提出，使得模型效果和创新性上更上一层楼。在机器翻译任务上，Bengio 等人提出了一个基于编码-解码结构的神经机器翻译模型，用编码器将源句子编码为一个固定长度的向量，然后由解码器从这个向量中解码生成目标句子。

当解码器在生成句子的时候，可以去自动检索源句子和需要预测的目标词最相关的部分，从而能更好的对源句子进行翻译，这种方法也被称为注意力机制。

GAN 的文章请参考这篇《Generative Adversarial Networks》

Adam 优化方法的文章请参考这篇《Adam: A Method for Stochastic Optimization》

Attention 机制的文章请参考这篇《Neural Machine Translation by Jointly Learning to Align and Translate》

06

2015 残差网络与批归一化

2015 年，微软亚洲研究院的何凯明团队提出了经典的 ResNet 模型，从这一天开始，神经网络在视觉分类任务上的效果超越了人类。这得益于 ResNet 中经典的残差连接，最初残差连接是为了解决深层 CNN 模型训练时的梯度消失问题而设计的。

在 ResNet 中，这种残差连接被称为 shortcut connections，通过将输入直接添加到卷积操作的输出结果上，可以在下一层输入的时候保留更多的原始信息，从而使模型每一次更容易学习这种恒等映射，减少了梯度消失的问题。

批归一化（Batch normalization）是特征处理的经典之作，由于原始数据的分布可能存在差异，使得模型学习起来存在难度。而批归一化的思想就是在模型训练时对特征数据做归一化，具体来说就是根据训练时每一个批次的均值和方差信息对这批数据做统一的放缩。这个操作使得数据分布变成了一个均值为 0，方差为 1 的正态分布，能够加速模型的收敛，并提升实际效果。

ResNet 的文章请参考这篇《Deep Residual Learning for Image Recognition》

BN 的文章请参考这篇《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》

07

2016 AlphaGo，击败人类的围棋大师

名噪一时的阿尔法狗在这一年被提出，很多人意识到 AI 技术的强大也是始于 AlphaGo 在围棋比赛中击败了世界围棋冠军李世石。

AlphaGo 靠着蒙特卡洛树的搜索以及深度神经网络的构建，AlphaGo 首先通过神经网络学习了海量围棋棋局，并利用蒙特卡洛树搜索来预测每一步棋局的可能结果，并利用强化学习不断优化自己的策略。

而 AlphaGo 在围棋比赛的胜利，也展示了人工智能在复杂游戏中的巨大潜力，同时也引发了人们对人工智能未来的思考。

AlphaGo 的文章请参考这篇《Mastering the game of Go with deep neural networks and tree search》

时间有限，今天的文章就更新到这里了。如果你对AI的发展史感兴趣，可以收藏这篇文章，我们下期再见。

欢迎点赞，留下你的名字，祝，万事顺利?。

❤️同频小伙伴欢迎链接