K均值聚类
- 预测的是一个离散值时,做的工作就是“分类”。
- 预测的是一个连续值时,做的工作就是“回归”。
机器学习模型还可以将训练集中的数据划分为若干个组,每个组被称为一个“簇(cluster)”。这种学习方式被称为“聚类(clusting)”,它的重要特点是在学习过程中不需要用标签对训练样本进行标注。也就是说,学习过程能够根据现有训练集自动完成分类(聚类)。
根据训练数据是否有标签,可以将学习划分为监督学习和无监督学习。
K近邻、支持向量机都是监督学习,提供有标签的数据给算法学习,然后对数据分类
聚类是无监督学习,事先并不知道分类标签是什么,直接对数据分类。
聚类能够将具有相似属性的对象划分到同一个集合(簇)中。
聚类方法能够应用于所有对象,簇内的对象越相似,聚类算法的效果越好。
K均值聚类的基本步骤
K均值聚类是一种将输入数据划分为k个簇的简单的聚类算法,该算法不断提取当前分类的中心点(也称为质心或重心),并最终在分类稳定时完成聚类。
从本质上说,K均值聚类是一种迭代算法。
在实际处理过程中需要进行多轮的迭代,直到分组稳定不再发生变化,即可认为分组完成。
K均值聚类算法的基本步骤如下:
可以是随机选取k个点作为分类的中心点,也可以是随机生成k个并不存在于原始数据中的数据点作为分类中心点。
距离最近: 要进行某种形式的距离计算。(在具体实现时,可以根据需要采用不同形式的距离度量方法。)
K均值聚类模块
OpenCV提供了函数cv2.kmeans()来实现K均值聚类。
该函数的语法格式为:
retval, bestLabels, centers=cv2.kmeans(data, K, bestLabels, criteria, attempts,flags)
- data:输入的待处理数据集合,应该是np.float32类型,每个特征放在单独的一列中。
- K:要分出的簇的个数,即分类的数目,最常见的是K=2,表示二分类。
- bestLabels:表示计算之后各个数据点的最终分类标签(索引)。实际调用时,参数bestLabels的值设置为None。
- criteria:算法迭代的终止条件。当达到最大循环数目或者指定的精度阈值时,算法停止继续分类迭代计算。该参数由3个子参数构成,分别为type、max_iter和eps。
- type表示终止的类型,可以是三种情况
- cv2.TERM_CRITERIA_EPS:精度满足eps时,停止迭代。
- cv2.TERM_CRITERIA_MAX_ITER:迭代次数超过阈值max_iter时,停止迭代。
- cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER:上述两个条件中的任意一个满足时,停止迭代。
- max_iter:最大迭代次数。
- eps:精确度的阈值。
- attempts:在具体实现时,为了获得最佳分类效果,可能需要使用不同的初始分类值进行多次尝试。指定attempts的值,可以让算法使用不同的初始值进行多次(attempts次)尝试。
- flags:表示选择初始中心点的方法,主要有以下3种。
- cv2.KMEANS_RANDOM_CENTERS:随机选取中心点。
- cv2.KMEANS_PP_CENTERS:基于中心化算法选取中心点。
- cv2.KMEANS_USE_INITIAL_LABELS:使用用户输入的数据作为第一次分类中心点;如果算法需要尝试多次(attempts 值大于1时),后续尝试都是使用随机值或者半随机值作为第一次分类中心点。
- retval:距离值(也称密度值或紧密度),返回 每个点到相应中心点距离的平方和(是一个数)。
- bestLabels:各个数据点的最终分类标签(索引)。
- centers:每个分类的中心点数据。
简单例子
例1:
随机生成一组数据,使用函数cv2.kmeans()对其分类。
- 一组数据在[0,50]区间
- 另一组数据在[200,250]区间
- 使用函数cv2.kmeans()对它们分类。
主要步骤如下:
使用随机函数随机生成两组数据,并将它们转换为函数cv2.kmeans()可以处理的格式。
设置函数cv2.kmeans()的参数形式。将参数criteria的值设置为“(cv2.TERM_CRITERIA_EPS+ cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)”,在达到一定次数或者满足一定精度时终止迭代。
调用函数cv2.kmeans(),获取返回值,用于后续步骤的操作。
根据函数cv2.kmeans()返回的标签(“0”和“1”),将原始数据分为两组
绘制经过分类的数据及中心点,观察分类结果。
完整程序:
import numpy as npimport cv2
from matplotlib import pyplot as plt
num1 = np.random.randint(0,50,60)
num2 = np.random.randint(200,250,60)
num = np.hstack((num1, num2))
num = num.reshape((120,1)) #每个数据为1列
num = np.float32(num)
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)
flags = cv2.KMEANS_RANDOM_CENTERS
retval, bestLabels, centers = cv2.kmeans(num,2, None, criteria,10, flags)
print(retval)
print(bestLabels)
print(centers)
n1 = num[bestLabels==0]
n2 = num[bestLabels==1]
plt.plot(np.ones(len(n1)),n1,'ro')
plt.plot(np.ones(len(n2)),n2,'bo')
plt.show()
例2:
有两种物体:
- 物体1的长和宽都在 [0,20] 内
- 物体2的长和宽都在[40,60] 内
使用随机数模拟两种物体的长度和宽度,并使用函数cv2.kmeans()对它们分类。
根据题目要求,主要步骤如下:
import cv2
from matplotlib import pyplot as plt
m1 = np.random.randint(0,20, (30,2))
m2 = np.random.randint(40,60, (30,2))
m = np.vstack((m1, m2))
m = np.float32(m)
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)
ret, label, center=cv2.kmeans(m,2, None, criteria,10, cv2.KMEANS_RANDOM_CENTERS)
'''
print(ret)
print(label)
print(center)
'''
res1 = m[label.ravel()==0]
res2 = m[label.ravel()==1]
plt.scatter(res1[:,0], res1[:,1], c = 'g', marker = 's')
plt.scatter(res2[:,0], res2[:,1], c = 'r', marker = 'o')
plt.scatter(center[0,0], center[0,1], s = 200, c = 'b', marker = 'o')
plt.scatter(center[1,0], center[1,1], s = 200, c = 'b', marker = 's')
plt.xlabel('Height'), plt.ylabel('Width')
plt.show()
例3:
使用函数cv2.kmeans()将灰度图像处理为只有两个灰度级的二值图像。
需要对灰度图像内的色彩进行分类,将所有的像素点划分为两类。然后,用这两类的中心点像素值替代原有像素值,满足题目的要求。
主要步骤如下:
读取图像,并将图像转换为函数cv2.kmeans()可以处理的形式。
在读取图像时,如果是3个通道的RGB图像,需要将图像的RGB值处理为一个单独的特征值。具体实现时,用函数cv2.reshape()完成对图像特征值的调整。
设置参数criteria的值为“(cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)”,让函数cv2.kmeans()在达到一定精度或者达到一定迭代次数时,即停止迭代。
设置参数K的值为2,将所有像素划分为两类。
调用函数cv2.kmeans(),得到距离值、分类中心点和分类标签,用于后续操作。
将像素点的值替换为当前分类的中心点的像素值。
分别显示原始图像和二值化图像。
import cv2
import matplotlib.pyplot as plt
img = cv2.imread('./img/hand2.png')
data = img.reshape((-1,3)) # n行 3列
data = np.float32(data)
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)
K =2
ret, label, center=cv2.kmeans(data, K, None, criteria,10, cv2.KMEANS_RANDOM_CENTERS)
center = np.uint8(center)
res1 = center[label.flatten()] # 根据索引来取值,最后结果的大小同索引的大小
res2 = res1.reshape((img.shape))
plt.subplot(121)
plt.imshow(img[:,:,::-1])
plt.axis('off')
plt.subplot(122)
plt.imshow(res2[:,:,::-1])
plt.axis('off')
plt.show()
调整程序中的K值,就能改变图像的显示结果。例如,K=8,则可以让图像显示8个灰度级。