Python机器学习（五十四）SciPyk均值聚类

　　聚类(K-means clustering)是在一组未标记的数据中，将相似的数据（点）归到同一个类别中的方法。聚类与分类的最大不同在于分类的目标事先已知，而聚类则不知道。
　　K-means是聚类中最常用的方法之一，它是基于点与点的距离来计算最佳类别归属，即靠得比较近的一组点（数据）被归为一类。
　　K-means的算法原理如下： 随机选取k个点作为中心点 遍历所有点，将每个点划分到最近的中心点，形成k个聚类 根据聚类中点之间的距离，重新计算各个聚类的中心点 重复2-3步骤，直到这k个中线点不再变化（收敛了），或达到最大迭代次数
　　SciPy中，cluster包已经很好地实现了K-Means算法，我们可以直接使用它。 使用SciPy中的k均值聚类功能导入 K-Means
　　导入要使用的模块： from SciPy.cluster.vq import kmeans,vq,whiten样本数据生成
　　准备样本数据： from numpy import vstack,array from numpy.random import rand  # 具有3个特征值的样本数据生成 data = vstack((rand(100,3) + array([.5,.5,.5]),rand(100,3)))
　　上面的程序将生成以下样本数据： [[9.08178137e-01 1.13621041e+00 1.37775140e+00]  [8.03177864e-01 8.61501332e-01 1.36841278e+00]  [1.20454835e+00 5.80649650e-01 1.02232192e+00]  [5.78773849e-01 1.29952832e+00 9.01418916e-01]  [1.00196410e+00 1.15425599e+00 5.68536029e-01]  [1.12860722e+00 7.63647578e-01 6.03910440e-01]  [1.29241389e+00 1.33779906e+00 1.38514877e+00]  [6.98439684e-01 1.10509272e+00 7.13420372e-01] ...数据白化预处理
　　数据白化预处理是一种常见的数据预处理方法，作用是去除样本数据的冗余信息。
　　可以使用以下代码来白化数据。 # 白化数据 data = whiten(data)分成3个聚类
　　我们会把样本数据分成3个聚类，使用kmeans()函数计算3个聚类的中心点。 # 计算 K = 3 时的中心点 centroids, _ = kmeans(data, 3)
　　打印中心点： print(centroids)
　　输出 [[2.33037825 1.63328035 1.76901626]  [0.69611182 1.48776606 1.25827876]  [2.39743406 2.98803923 2.99201397]]
　　使用vq函数将样本数据中的每个样本点分配给一个中心点，形成3个聚类。 # 将样本数据中的每个值分配给一个中心点，形成3个聚类。 # 返回值clx标出了对应索引样本的聚类，dist表示对应索引样本与聚类中心的距离。 clx, dist = vq(data, centroids)
　　输出聚类 # 打印聚类 print(clx)
　　输出 [1 1 1 1 1 1 1 0 0 1 0 0 1 0 0 1 1 0 1 1 1 1 0 0 0 1 0 1 0 1 1 0 1 0 0 1 0  1 0 1 1 1 0 1 0 0 1 1 1 1 0 0 1 0 1 0 1 1 1 1 1 1 1 1 1 0 1 1 1 0 1 1 1 0  0 0 1 0 0 0 0 0 1 1 1 0 1 0 1 1 1 0 1 0 0 1 0 0 1 1 0 2 0 2 0 2 2 2 0 2 0  0 0 2 2 2 2 2 0 0 0 2 2 2 2 0 0 0 2 2 2 0 2 0 2 2 0 2 0 2 2 2 2 2 2 0 2 2  2 2 2 2 2 0 2 0 0 2 2 0 0 0 0 0 0 0 2 0 0 2 0 0 2 2 2 2 2 2 2 0 2 0 0 2 2  2 0 2 2 0 0 2 2 2 2 0 2 0 0 2]
　　上面数组中，值0,1,2分别表示3个聚类，某个位置上的值表示该对应索引数据属于哪个聚类，例如clx[0]=1，表明data[0]样本属于聚类1。