【學習筆記】K近鄰歸類算法

# -*- coding:utf-8 -*-
__author__ = 'Ghostviper'
"""
K近鄰歸類算法
"""
from numpy import *
import operator
def createDataset():
    group = array([
        [1.0, 1.1],
        [1.0, 1.0],
        [0, 0],
        [0, 0.1]
    ])
    labels = ['A', 'A', 'B', 'B']
    return group, labels
def classify0(inX, dataSet, labels, k):
    # shape獲得數據集中數組的大小
    dataSetSize = dataSet.shape[0]
    # 根據輸入的元素復制矩陣并與已知數據集矩陣做差
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]
if __name__ == "__main__":
    group, labels = createDataset()
    print classify0([1, 1], group, labels, 3)

注:計算兩個向量點xA和xB之間的距離利用歐式距離公式:

算法步驟:

1. 計算已知類別數據集中點與當前點之間的距離

2. 按照距離遞增排序

3. 選取與當前點距離最小的k個點

4. 確定前k個點所在類別的出現頻率

5. 返回前k個點出現的頻率最高的類別作為當前點的預測分類

算法適用范圍:數值型和標稱型

優點:精度高、對異常值不敏感、無數據輸入假定

缺點：計算復雜度高、空間復雜度高