k-最近傍法とは

英語ではk-Nearest Neighbor、k-NNともいう
新しいデータポイントに対する予測の際は、訓練データセットの中から一番近い点を見つける
kは近い点をいくつ探すか
- k=1なら1つだけ、k=3なら3つの点の多数決で決める

k-最近傍法の特徴

利点
- モデルが理解しやすい
欠点
- 処理速度が遅い
- 多数の特徴量を扱うことができない
"実際にはほとんど使われていない" らしい…

irisにおける最適なkは?

# p.40のコードのデータ読み込み部分をirisに変えただけ
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt

iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(
    iris.data, iris.target, stratify=iris.target, random_state=0)

training_accuracy = []
test_accuracy = []
neighbors_settings = range(1, 30)

for n_neighbors in neighbors_settings:
    clf = KNeighborsClassifier(n_neighbors=n_neighbors)
    clf.fit(X_train, y_train)
    training_accuracy.append(clf.score(X_train, y_train))
    test_accuracy.append(clf.score(X_test, y_test))

plt.plot(neighbors_settings, training_accuracy, label="training accuracy")
plt.plot(neighbors_settings, test_accuracy, label="test accuracy")
plt.ylabel("Accuracy")
plt.xlabel("n_neighbors")
plt.legend()
plt.show()