模型搭建完了，怎么衡量效果好不好？能不能用？

估计很多初入职场和刚开始接触建模的小伙伴都会有这种疑问。

在机器学习和统计分析中，模型评价指标是衡量模型性能的关键工具。

本文以一张图的形式简单地呈现有哪些指标可以衡量模型效果，让你能快速窥探模型评价指标全貌。

模型评价指标是用来量化和评估机器学习模型性能的一套标准，这些指标可以帮助我们理解模型在特定任务上的表现。比如分类、回归或聚类等。

1  分类问题评价指标

1. 准确率(Accuracy)：模型预测正确的样本数占总样本数的比例。

2. 混淆矩阵(Confusion Matrix)：描述分类模型性能的表格，包括真正例(TP)、真负例(TN)、假正例(FP)和假负例(FN)。

3. 精确率(Precision）：预测为正类的样本中实际为正类的比例。

4. 召回率(Recall)/查全率：所有实际正类样本中，被模型正确预测为正类的比例。

5. F1值(F1 Score)：精确率和召回率的调和平均数，用于衡量模型的准确性。

6. ROC曲线(Receiver Operating Characteristic Curve)：以假正例率(FPR)为横坐标，真正例率(TPR)为纵坐标的曲线，展示模型对正负样本的区分能力。

7. AUC值(Area Under the ROC Curve)：ROC曲线下面的面积，用于衡量模型的整体性能。

8. KS值(Kolmogorov-Smirnov Statistic)：衡量模型区分能力的指标，通过比较累积坏客户和好客户的分布差异来计算。KS值越大，模型的区分能力越强。

对指标1-5的详细介绍和案例感兴趣的小伙伴可以翻看文章：【Python常用函数】一文让你彻底掌握Python中的f1_score函数。

对指标6-7的详细介绍和案例感兴趣的小伙伴可以翻看文章：模型评价指标—ROC曲线。

对指标8的详细介绍和案例感兴趣的小伙伴可以翻看文章：【Python数据挖掘】应用toad包中的KS_bucket函数统计好坏样本率、KS值。

2  回归问题评价指标

1. 均方误差(MSE，Mean Squared Error)：预测值与真实值差的平方的平均值。

2. 均方根误差(RMSE，Root Mean Squared Error)：MSE的平方根，以原始数据的单位表示误差。

3. 平均绝对误差(MAE，Mean Absolute Error)：预测值与真实值差的绝对值的平均值。

4. R平方值(R^2，Coefficient of Determination)：模型解释的变异性占总变异性的比例。

1. 轮廓系数(Silhouette Coefficient)：衡量样本与同一类别中其他样本的相似度，与其他类别中样本的不相似度。

2. 方差比准则(Calinski-Harabasz Index)：本质是簇间距离与簇内距离的比值，整体计算过程与方差计算方式类似，所以又称之为方差比准则。

3. 列联矩阵(contingency matrix)：与分类问题中的混淆矩阵类似，列联矩阵描述了基本真值标签和聚类标签之间的关系。

4. ARI(Adjusted Rnd Index)：通过两两比较来衡量聚类分配与真实类标签之间的相似性。

模型评价指标一张图展示如下：

至此，模型评价指标一张图已讲解完毕，对风控建模感兴趣的小伙伴欢迎加群讨论。

【部分群限时免费进】分群讨论学习Python、玩转Python、风控建模【29.9元进】、人工智能、数据分析相关问题，还提供招聘内推信息、优秀文章、学习视频、公众号文章答疑，也可交流工作中遇到的难题。如需添加微信号19967879837，加时备注想进的群，比如风控建模。

变量筛选—特征包含信息量

一文弄懂卡方分箱的原理和应用

应用决策树生成【效果好】【非过拟合】的策略集

一文囊括风控模型搭建(原理+Python实现)，持续更新。。。

不同工作年限风控建模岗薪资水平如何？招聘最看重面试者什么能力？

100天精通风控建模(原理+Python实现)——第32天：集成学习是什么?在风控建模中有哪些应用？

限时免费加群

19967879837

添加微信号、手机2