深度学习是机器学习的一种方法。它一般指通过多个处理层来学习非线性函数。
什么是生成分类器?
生成分类器使用Bayes规则将给定类c的特征F的概率转换为对给定类F的特征c的预测。由分类器预测的类通常是产量最高的类P(c、F)。常用的生成分类器是Naive Bayes 分类器。它有两层(一个用于特征F和一个用于C类)。
基于生成分类器的深度学习
深度学习首先需要的是一个隐藏的层。因此,您可以在C层和F层之间再添加一层H以获得Hierarchical Bayesian分类器(HBC)。
在HBC中,你有两种方式计算P(c、F):
第一个等式使用和(POS)的乘积来计算P(c | F)的值。第二个等式使用产品和(SOP)来计算P(c | F)的值。
PoS方程
作者发现了关于这两个方程的一些非常有趣的东西。
事实证明,如果使用第一个方程。则HBC简化为Naive Bayes分类器。这样的HBC只能学习线性(或二次)的决策处理。
如图1中所示的离散异函数。
可以看出,只一条直线是无法将黑点与白点分开。要想正确的区分它们只能通过非线性分类器。
如果您通过上图中的数据训练多项式Naive Bayes分类器,则会得到下图。
请注意,虚线区域表示类别1,清除区域表示类别0。
可以看出,不管线的角度如何,四个中的至少一个点将被错误分类。例如图中,{5,1}处的点错误归类为0。(清除区域表示类别0)。
但是使用POS HBC,则会得到相同的结果。
SOP方程
通过研究。作者发现,如果使用第二个方程,会发生一些令人惊奇的事情。
有了“产品和”方程,HBC可以进行深度学习。
SOP +多项分布
下图显示了由多项非线性HBC学习的决策处理。
整个图由穿过原点的两条直线组成。并将数据点分为两个必需的类别。
由于{1,1}和{5,5}处的点落入表示分类0的清晰圆锥区域,而其他两点落入代表分类1的虚线区域,所已四个点都被正确分类。
进而得出结论,多项非线性分层Bayes分类器可以学图1的非线性函数。
高斯分布
高斯非线性HBC学习的图像如下图所示。
图像由分类后的数据点的两条二次曲线组成。
所以说,高斯非线性HBC也可以学习图1的非线性函数。
结论
由于SOP HBC是多层的(具有一层隐藏节点),并且可以学习非线性决策。因此可以说它们具有深度学习的能力。