1: K-최근접 이웃 알고리즘

K-최근접 이웃 알고리즘 (K-Nearest Neighbors)

특정 데이터에 대한 값을 구할 때 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 선택하는 알고리즘.

import matplotlib.pyplot as plt

bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]
                
smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show

 

빙어 데이터와 도미 데이터의 산점도

length = bream_length + smelt_length
weight = bream_weight + smelt_weight

fish_data = [[l, w] for l, w in zip(length, weight)] //학습의 재료가 될 데이터 모음
fish_target = [1] * 35 + [0] * 14 //정답을 알려주는 리스트

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target) //fit(): 주어진 데이터로 알고리즘을 훈련한다.
kn.score(fish_data, fish_target) //score(): 모델을 평가한다.

 

K-최근접 이웃 알고리즘을 위해 준비해야 할 일은 데이터 전처리 외에는 없다.

새로운 데이터에 대해 예측할 때 그냥 해당 데이터의 가장 가까운 직선거리에 어떤 데이터가 있는지를 살피기만 하면 되기 때문이다.

하지만 그렇기때문에 역으로 데이터가 너무 많을때는 이 알고리즘을 사용하기 어렵다.

데이터가 크면 메모리와 같은 리소스가 많이 들고, 직선거리 계산에도 많은 시간이 필요하기 때문