【每日一问】为什么使用非线性的sigmoid的逻辑回归是线性分类器?

逻辑回归尽管使用了Sigmoid(逻辑)激活函数,但仍被称为线性分类器,原因在于它以线性方式模拟输入特征与二元目标变量的对数几率(logit)之间的关系。逻辑回归中的“线性”指的是它在特征空间中创建了一个线性决策边界,这是一个超平面。


在逻辑回归模型中,预测结果是通过将输入特征与权重相乘、加上偏置项,然后通过Sigmoid函数来计算的。Sigmoid函数的作用是将线性函数的输出压缩到(0, 1)区间内,以表示概率。但是,即使Sigmoid函数本身是非线性的,决策边界的线性性质是由输入特征和权重的线性组合决定的。这意味着,无论Sigmoid函数如何变换其输入,决策边界始终是线性的,因为它是由特征和权重的线性组合形成的。


换句话说,逻辑回归模型的输出是输入特征的线性函数的Sigmoid变换。即使Sigmoid变换将输出压缩到(0, 1)区间,用于分类的决策边界(即Sigmoid函数的倒置)本质上仍然是基于特征和权重的线性组合。


逻辑回归被称为线性分类器,是因为它的决策边界在特征空间中是线性的,而不是因为它不使用非线性函数。实际上,逻辑回归结合了线性模型和非线性激活函数来创建一个适合二分类问题的预测模型。


请使用浏览器的分享功能分享到微信等