样本不平衡造成的影响和解决方案

我们在做分类问题的时候，有时候会遇到正负样本非常不平衡的现象，比如正例：负例=1：100等更极端的现象。这样分类器可能会都判断为负例，这样必然存在很多FALSE negative，并且模型不具有泛化能力。

比如下面这个例子，正：负约等于1：100：

混淆矩阵可以看到，预测结果将测试集都判断为0，即负例，这个结果非常极端。我们可以主要通过以下方案解决：

1. 增加数据
2. 数据重采样 对于数据量少的进行过采样（over-sampling ）；对数据量很大的样本进行欠采样（under-sampling）。
3. 人工生成数据 比如用SMOTE算法人工生成新的少数样本。

在python中可以直接使用imblearn处理不平衡数据：

代码语言：javascript复制

# 安装
conda install -c conda-forge imbalanced-learn

# 随机欠采样示例
from imblearn.under_sampling import RandomUnderSampler
RandomUnderSampler = RandomUnderSampler(random_state=287) # Downsampling
X, y = RandomUnderSampler.fit_sample(X,y) 
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state = 16, stratify=y)

clf = LogisticRegression()
clf.fit(X_train, y_train)

python sampling

0 人点赞