其实自从2018年三大佬靠深度学习拿了图灵奖之后，基本宣告深度学习容易解决的问题做的差不多了，这两年这个领域没有太大的突破，因为剩下的问题都是硬核问题，想要比较好的解决很困难，这个可以从这几年的顶会NeurIPS, ICML和 ICLR 可以看出来。我大体列一下自己认为值得 follow 的几个大方向。

1. 深入反思和理解深度学习的行为: Understanding deep learning, 包括理论和完整的实验分析。比如深度学习获得泛化能力的来源：数据、模型和训练算法技巧的分析；还有深度学习学到的特征表示究竟是什么，宽度、深度、跳连等究竟在 representation learning 上所起的作用；深度学习稳健性，包括对噪声变化、对结构变化、对对抗样本的稳健性；从不同视角建模深度学习等。
2. 新模型的构建方面，主要目的是希望深度学习满足某种性质或要求，比如可解释性强、可信能力强的模型的构建；比如具有因果推断能力的模型，这其实是个很重要的方向，深度学习很大的成功在于模式识别和函数拟合，其他能力很弱；比如小容量计算友好的模型等。
3. 新的数据场景或数据结构中的深度学习模型，比如semi-supervised, self-supervised或大家也称unsupervised, transfer learning ，meta-learning等。因为已有的深度学习的成功展现在大数据的有监督上，目前关于这些挑战场景上的理解还很少，虽然大家一顿猛发文章，本质是什么尚不清晰，尤其是背后的设计模型的核心 principle 是什么还是很模糊的。新的数据结构下的问题，典型代表是graph，大型 table及结构化的数据上。
4. Learning-enhanced algorithms，我自己起的名字，主要指如何利用数据驱动的方式，尤其是深度学习强大表达能力和灵活性，来解决一些传统算法的瓶颈问题，比如如何用learning的思路来解决一些组合问题中的搜索策略；如何从解决多个问题中总结数据或者问题的经验，来拓展到解决类似问题上。
5. 对应用友好的模型和算法，尤其是精细场景以及实际落地应用中。毕竟深度学习的很多问题是应用驱动的，如何更好的解决实际应用问题也极其关键。这里涉及很多，比如模型动态更新（包括类别，数据的分布变化，数据的异质，多模态等），快速部署（衍生很多加速算法等），便捷部署（衍生 automl），可视化，模块化等。
6. 还有一个是和硬件结合的方向，这个也很重要，自己不是很懂。
   当然随着逐渐发展，还有不同新的有意思的新方向、新应用出现。 不过最终深度学习这个框架和方法最终会像最小二乘法一样，被广泛应用，成为标准工具，但会不断的有新的东西能挖出来。