在机器学习的算法评估中，尤其是分类算法评估中，会用到过拟合、欠拟合、精确率(precision)与召回率(recall)，ROC曲线与PR曲线这些概念

目录

一、基本参数

二、概念

PR曲线

查准率和查全率

PR曲线绘制

ROC曲线

TPR和FPR

ROC曲线绘制

三、代码实现思路

四、代码实现过程

五、代码解析

---

一、基本参数

1.过拟合：学习器把训练样本训练的太好了，把训练样本自身一些特点当成所有潜在样本都具有的一些性质。（用于评估模型的泛化能力）

造成的原因：

​算法学习能力比较强

解决的措施：

​增加训练种类、增加训练集（训练集多了，总不可能全学会了吧）

2.欠拟合：学习器训练的不太好，一般性质都没训练出来。（用于评估模型的泛化能力）

造成的原因：

​算法学习能力低下

解决的措施：

​优化算法、增大训练次数（我算法好一点学多一点、或者我不搞算法，我多两次总会好点）

可以抽象理解为下图

二、概念

PR曲线

混淆矩阵

查准率和查全率

查准率，表示所有被预测为正类的样本（TP+FP）是真正类（TP）的比例：

查全率，表示所有真正类的样本（TP+FN）中被预测为真正类（TP）的比例：

PR曲线绘制

PR曲线的横坐标为召回率R，纵坐标为查准率P

1. 将预测结果按照预测为正类概率值排序
2. 将阈值由1开始逐渐降低，按此顺序逐个把样本作为正例进行预测，每次可以计算出当前的P，R值
3. 以P为纵坐标，R为横坐标绘制图像

如何利用PR曲线对比性能：

如果一条曲线完全“包住”另一条曲线，则前者性能优于另一条曲线。
PR曲线发生了交叉时：以PR曲线下的面积作为衡量指标，但这个指标通常难以计算
使用 “平衡点”（Break-Even Point），他是查准率=查全率时的取值，值越大代表效果越优
BEP过于简化，更常用的是F1度量：

ROC曲线

AUC就是衡量学习器优劣的一种性能指标。从定义可知，AUC可通过对ROC曲线下各部分的面积求和而得。

TPR和FPR

真阳性率：

假阳性率：

ROC曲线绘制

ROC曲线的横坐标为FPR，纵坐标为TPR

1. 将预测结果按照预测为正类概率值排序
2. 将阈值由1开始逐渐降低，按此顺序逐个把样本作为正例进行预测，每次可以计算出当前的FPR，TPR值
3. 以TPR为纵坐标，FPR为横坐标绘制图像

如何利用ROC曲线对比性能：
ROC曲线下的面积（AUC）作为衡量指标，面积越大，性能越好

三、代码实现思路

1. 首先，我们需要准备数据集，并将其分为训练集和测试集。
2. 然后，我们需要使用knn算法对训练集进行训练，并对测试集进行预测。
3. 接下来，我们需要计算出预测结果的真阳性率（TPR）、假阳性率（FPR）、精确率（Precision）和召回率（Recall）等指标。
4. 最后，我们可以使用这些指标来绘制pr曲线和roc曲线。

四、代码实现过程

1.导包

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import precision_recall_curve, roc_curve, auc
import matplotlib.pyplot as plt

2.生成样本数据

X, y = make_classification(n_samples=1000, n_classes=2, random_state=1)

3. 将数据集分为训练集和测试集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=1)

4.使用knn算法进行训练和预测

knn = KNeighborsClassifier()
knn.fit(X_train, y_train)
y_pred = knn.predict(X_test)

5.计算真阳性率、假阳性率、精确率和召回率

fpr, tpr, thresholds = roc_curve(y_test, y_pred)
precision, recall, thresholds = precision_recall_curve(y_test, y_pred)

6.计算AUC值

roc_auc = auc(fpr, tpr)
pr_auc = auc(recall, precision)

7.绘制ROC曲线和PR曲线

plt.figure(figsize=(8, 4))
plt.subplot(121)
plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], 'k--')
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic')
plt.legend(loc="lower right")

plt.subplot(122)
plt.plot(recall, precision, label='PR curve (area = %0.2f)' % pr_auc)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('Recall')
plt.ylabel('Precision')
plt.title('Precision-Recall curve')
plt.legend(loc="lower left")

plt.show()

实验结果

五、代码解析

1.X, y = make_classification(n_samples=1000, n_classes=2, random_state=1)

解析：sklearn的make_classification函数能生成分类样本数据。n_samples：样本个数；n_classes：样本类别个数；random_state：随机种子指定，以便生成同样的数据集。

2.fpr, tpr, thresholds = roc_curve(y_test, y_pred)

解析：fpr: 假阳性率数组；tpr: 真阳性率数组；thresholds: 阈值数组，用于计算 ROC 曲线。

3.plt.xlim([0.0, 1.0])

plt.ylim([0.0, 1.05])

解析：前者指定了x轴的起点和重点；后者指定了y轴的起点和终点

4.plt.legend(loc="lower right")

解析：loc参数用于大致调整图例位置。lower right为右下方，lower left为左下方

六、实验总结

1、模型的精确度和召回率互相制约，P-R曲线越向右上凸，表示模型性能越好。

2、在正负样本数量均衡的情况下，P-R曲线和ROC曲线的趋势差不多，但由于精确率和召回率更关注正样本的情况，当负样本比较多时P-R曲线的反映效果一般，此时使用ROC曲线更合适。

ps:本次实验借鉴了该篇博客：

原文链接：https://blog.csdn.net/weixin_37817275/article/details/115859550