目录

KNN基础知识

实战——使用KNN完成鸢尾花分类预测

交叉验证 

实战——手写数字图片数据集的调 参、分类识别

 实战——使用网格搜索进行调参

KNN基础知识

 KNN（K-Nearest Neighbors）算法原理

        “近朱者赤，近墨者黑”——从训练数据集中找出和待预测样本 最接近的K个样本，然后 投票决定待预测样本的分类；如果是回归问题，则求出K个样本的平 均值作为待预测样本最 终的预测值

特征标准化问题

如果样本的多个特征值差别很大，或者样本特征的量纲不一致， 导致样本间距离被某些 特征所主导，就应该考虑样本特征标准化的问题

最常用的特征标准化方法是：z-score标准化

z-score标准化通过sklearn中的 sklearn.preprocessing.StandardScaler实现

实战——使用KNN完成鸢尾花分类预测

在sklearn中使用sklearn.neighbors.KNeighborsClassifier实现 KNN分类的功能

from sklearn import datasets
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
# 加载鸢尾花数据集
iris = datasets.load_iris()
X = iris.data # 所有样本特征
y = iris.target  # 所有样本标签
# 将数据集拆分成训练样本集和测试样本集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=666)
 
# 样本特征标准化
std = StandardScaler()
# 通过训练样本集特征进行标准化拟合并转换
X_train_standard = std.fit_transform(X_train)  
# 对于测试集，直接转换即可！
X_test_standard = std.transform(X_test)
 
from sklearn.neighbors import KNeighborsClassifier
 
knn = KNeighborsClassifier(n_neighbors=3)  # 创建KNN分类器对象，K=3
knn.fit(X_train_standard,y_train)  # 拟合
# 根据样本特征，对测试样本进行预测
y_predict = knn.predict(X_test_standard)
# 直接调用score方法，得出分类准确率
print(knn.score(X_test_standard,y_test))

 1.0

准确率100%，说明这原始自带数据集特征很明显

交叉验证 

什么是交叉验证（Cross Validation）

        交叉验证是一种模型选择方法和调参方法，它随机地将数据集 切分成三部分，分别为训 练集(training set)、验证集(validation set)和测试集(test set)。训练 集用来训练模型，验证 集用于模型的选择，测试集用于最终对学习方法的评估。 

K折交叉验证(k-fold cross validation)

首先随机地将已给训练数据集切分为k个互不相交的大小相同的 子集；然后利用K-1个子 集的数据训练模型，利用余下的子集验证模型；将这一过程对可能 的K种选择重复进行（这 一过程使用的是同一组超参数）；最后通过计算K次的预测误差，对 其平均便会得到1个交 叉验证误差（也就是这一组超参数的预测误差或成绩）。 

 留一交叉验证(leave-one-out cross validation)

留一交叉验证（留一法）是K折交叉验证的特殊情形，即： K=N，这里N是给定训练数 据集的容量。 留一法不受随机样本划分方式的影响，最接近模型真正的性能 指标。因为N个样本只有 唯一的方式划分为N个子集——每个子集包含一个样本。 缺点：计算量巨大。

实战——手写数字图片数据集的调 参、分类识别

交叉验证使用sklearn.model_selection.cross_val_score来完成

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
# 数据加载，展示图像
digits = datasets.load_digits()
images = digits.images   # 所有图像数据
plt.gray()  # 灰色图像
plt.matshow(images[0])  # 显示第一个图像
plt.show()

可以看出这是一个数字0

X = digits.data  # 样本特征
y = digits.target   # 样本标签
 
# 拆分数据集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.4,random_state=666)
 
# 交叉验证开始
from sklearn.model_selection import cross_val_score
 
best_k,best_p,best_score = 0,0,0
 
for k in range(2,11):  # 外层循环搜索k
    for p in range(1,6):  # 内层循环搜索p
        knn = KNeighborsClassifier(weights="distance",n_neighbors=k,p=p)
        scores = cross_val_score(knn,X_train,y_train,cv=3)  # 3折交叉验证
        score = np.mean(scores)  # 当前这一组超参数在验证集上的平均分
        if score > best_score:
            best_k,best_p,best_score = k,p,score
 
print("best_k=",best_k)
print("best_p=",best_p)
print("验证最好成绩：best_score=",best_score)
 
 

# 使用调好的超参数进行训练与测试
best_knn = KNeighborsClassifier(weights="distance",n_neighbors=2,p=2)
best_knn.fit(X_train,y_train)
best_knn.score(X_test,y_test)  # 测试集上最终的分数

实战——使用网格搜索进行调参

什么是网格搜索

  • 网格搜索可以实现自动调参并返回最佳的参数组合
  • 网格搜索，搜索的是参数，即在指定的参数范围内，依次调整参 数，利用调整的参数训练学习器

网格搜索的sklearn实现

使用sklearn.model_selection.GridSearchCV实现网格搜索 GridSearchCV的名字可以拆分为两部分，GridSearch和CV，即 网格搜索和交叉验证 

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
# 加载数据集
digits = datasets.load_digits()
X = digits.data  # 样本特征
y = digits.target  # 样本标签
 
# 拆分数据集
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.4,random_state=666)
 
# 网格搜索
from sklearn.model_selection import GridSearchCV
 
# 组装待搜索的超参数组合
param_grid = [
    {
        "weights":["uniform"],
        "n_neighbors":[i for i in range(1,11)]
    },
    {
        "weights":["distance"],
        "n_neighbors":[i for i in range(1,11)],
        "p":[i for i in range(1,6)]
    }
]
 
knn = KNeighborsClassifier()
gs = GridSearchCV(knn,param_grid,cv=3,n_jobs=-1)
gs.fit(X_train,y_train)  # 搜索最佳超参数组合（很耗时！）
print(gs.best_params_)  # 最佳超参数组合

print(gs.best_score_)  # 最佳验证成绩

# 携带最佳超参数组合的KNeighborsClassifier对象
best_knn = gs.best_estimator_
best_knn.fit(X_train,y_train)  # 使用最佳超参数组合的分类器进行拟合训练
print("在测试集上的最终评估效果：",best_knn.score(X_test,y_test))