机器学习课程-温州大学-06机器学习-KNN算法

### KNN算法总结 k近邻法（k-Nearest Neighbor，kNN）是一种简单而成熟的机器学习算法，广泛应用于分类和回归问题。其核心思想是：如果一个样本在特征空间中与k个实例最为相似，那么该样本通常属于这k个实例中多数属于的类别。 #### KNN算法的三要素： 1. **k值选择**：k值的大小会影响算法的性能，k较大时可能-leading to over-smoothing，k较小时可能-leading to over-fitting。 2. **距离度量**：常用的距离度量方法包括欧氏距离、曼哈顿距离等。 3. **决策规则**：分类问题中通过多数表决决定类别；回归问题中通过均值预测。 #### KNN算法流程： 1. 计算测试对象到训练集每个对象的距离。 2. 按照距离排序，选取与测试对象最近的k个邻居。 3. 统计k个邻居的类别频率，频率最高的类别即为测试对象的类别。 #### KNN算法的扩展技术： - **KD树（K-Dimension Tree）**：用于高效划分特征空间，适合快速搜索最近邻居。KD树的构建通过递归划分数据集，选择中位数作为切分点，最终形成树状结构以加速最近邻搜索。 #### 示例： - 以二维数据点集为例，构建KD树时，首先按x轴排序并选择中位数6作为切分点，随后递归处理左右子集。 总结来说，k近邻法通过简单的距离度量和多数表决规则，实现了分类和回归的基本功能，结合KD树等技术进一步提升了其效率。