详解python实现交叉验证法与留出法-创新互联

在机器学习中，我们经常在训练集上训练模型，在测试集上测试模型。最终的目标是希望我们的模型在测试集上有最好的表现。

但是，我们往往只有一个包含m个观测的数据集D，我们既要用它进行训练，又要对它进行测试。此时，我们就需要对数据集D进行划分。

对于数据集D的划分，我们尽量需要满足三个要求：

1. 训练集样本量充足
2. 训练模型时的计算量可以忍受
3. 不同的划分方式会得出不同的训练集和测试集，从而得出不同的结果，我们需要消除这种影响

我们将分别介绍留出法、交叉验证法，以及各自的python实现。自助法(bootstrapping)将在下篇中加以介绍。

1.留出法

留出法是最常用最直接最简单的方法，它直接将数据集D拆分成两个互斥的集合，其中一个作为训练集R，另一个作为测试集T。 即

在使用留出法时，需要注意：

1. 要有足够的样本量，以保证训练模型的效果
2. 在划分时注意保证数据分布的一致性（如：500个样本中正例和反例的比为2:3，则在训练集和测试集中正例和反例的比也要求为2:3），只需要采用随机分层抽样即可
3. 为了减弱随机划分的影响，重复划分训练集和测试集，对得到的多次结果取平均作为最后的结果
4. 一般训练集和测试集的比例在8:2或者7:3
   

当然留出法的缺点也非常明显，即它会损失一定的样本信息；同时需要大样本。

python实现留出法，只需要使用sklearn包就可以

from sklearn.model_selection import train_test_split
#使用train_test_split划分训练集和测试集
train_X , test_X, train_Y ,test_Y = train_test_split(
  X, Y, test_size=0.2,random_state=0)
''' 
X为原始数据的自变量，Y为原始数据因变量；
train_X，test_X是将X按照8:2划分所得；
train_Y，test_Y是将X按照8:2划分所得；
test_size是划分比例；
random_state设置是否使用随机数
'''