通过交叉验证构建可靠的机器学习模型
交叉验证是一种用来衡量和评估机器学习模型性能的技术。在培训期间，我们创建了训练集的多个分区，并在这些分区的不同子集上进行训练/测试。
交叉验证经常用于为给定的数据集训练、测量和最终选择机器学习模型，因为它有助于评估模型的结果在实践中如何推广到独立的数据集。最重要的是，交叉验证已经被证明可以产生比其他方法更低的偏差的模型。
本教程将重点介绍交叉验证的一种变体，称为k-fold交叉验证。
在本教程中，我们将介绍以下内容:
- 概述K-Fold交叉验证
- 使用Scikit-Learn和com .ml的示例
K-fold交叉验证
交叉验证是一种重采样技术，用于评估有限数据集上的机器学习模型。
交叉验证的最常见用途是k-fold交叉验证方法。我们的训练集分为K个分区，模型在K-1分区上训练，测试误差在K分区上预测和计算。对每个唯一组重复此操作，并对测试错误进行平均。
步骤描述：
1.将训练集拆分为K（K = 10是常见选项）分区
对于每个分区：
2.设置分区是测试集
3.在其余分区上训练模型
4.测量测试集中的性能。
5.保留性能指标
6.探索不同folds的模型性能
交叉验证通常被使用，因为它易于解释，并且因为它通常导致比其他方法（例如简单的训练/测试拆分）更少偏差。使用交叉验证的最大缺点之一是增加了训练时间，因为我们基本上是训练K次而不是1次。
使用scikit-learn的交叉验证示例
Scikit-learn是一种流行的机器学习库，它还提供了许多用于数据采样，模型评估和训练的工具。我们将使用Kfold该类来生成folds。这是一个基本概述：
from sklearn.model_selection import KFold
X = [...] # My training dataset inputs/features
y = [...] # My training dataset targets
kf = KFold(n_splits=2)
kf.get_n_splits(X)
for train_index, test_index in kf.split(X):
X_train, X_test = X[train_index], X[test_index]
y_train, y_test = y[train_index], y[test_index]
model = train_model(X_train,y_train)
score = eval_model(X_test,y_test)
现在让我们使用scikit-learn和Comet.ml训练一个端到端的例子。
此示例在新闻组数据集上训练文本分类器（http://scikit-learn.org/stable/datasets/twenty_newsgroups.html）。给定一段文本（字符串），模型将其分类为以下类之一：“atheism”,”christian”,”computer graphics”, “medicine”。Python代码如下：
from __future__ import print_function
from comet_ml import Experiment
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer
from sklearn.pipeline import Pipeline
from sklearn.datasets import fetch_20newsgroups
from sklearn.linear_model import SGDClassifier
from sklearn.metrics import accuracy_score
from sklearn.model_selection import KFold
import numpy as np
def convert_to_np(dataset):
return np.asarray(dataset.data), dataset.target
experiment = Experiment(api_key="YOUR KEY HERE", project_name="cross-validation")
experiment.set_name("20 newsgroups cross validated")
# Get dataset and put into train,test lists
categories = ['alt.atheism', 'soc.religion.christian',
'comp.graphics', 'sci.med']
x_validation,y_validation =convert_to_np(fetch_20newsgroups(subset='test', categories=categories, shuffle=True, random_state=42))
x_train,y_train = convert_to_np(fetch_20newsgroups(subset='train', categories=categories, shuffle=True, random_state=42))
kf = KFold(n_splits=10)
curr_fold = 0
acc_list = []
for train_idx, test_idx in kf.split(x_train):
text_clf = Pipeline([('vect', CountVectorizer()), # Counts occurrences of each word
('tfidf', TfidfTransformer()), # Normalize the counts based on document length
('clf', SGDClassifier(loss='hinge', penalty='l2', # Call classifier with vector
alpha=1e-3, random_state=42,
max_iter=5, tol=None)),
])
text_clf.fit(x_train[train_idx].tolist(), y_train[train_idx])
# Predict unseen test data based on fitted classifer
predicted = text_clf.predict(x_train[test_idx])
# Compute accuracy
acc = accuracy_score(y_train[test_idx].tolist(), predicted)
acc_list.append(acc)
experiment.log_metric("accuracy_fold_%s" % curr_fold, acc)
curr_fold += 1
experiment.log_metric("average accuracy", np.average(acc_list))
在每个fold上，我们向Comet.ml报告准确性，最后我们报告所有folds的平均准确度。实验结束后，我们可以访问Comet.ml并检查我们的模型(https://www.comet.ml/gidim/cross-validation/dd73c9696cbc497cb8274abcb883e03e/chart)：
图表是由Comet.ml自动生成的。最右边的条形(紫色部分)表示folds的平均精度。正如您所看到的，一些folds前置形式明显优于平均值，并显示了k-fold交叉验证的重要性。
您可能已经注意到我们没有计算测试精度。在您完成所有实验之前，不应该以任何方式使用测试集。如果我们根据测试精度改变超参数或模型类型，我们实际上是将超参数过度拟合到测试分布。