图像分割是指将图像分成若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性，不同子区域的特征呈现较为明显的差异。



常用方法

1.基于阈值的分割方法

2.基于边缘检测的分割方法

3.基于区域的分割方法

4.基于深度学习的分割方法
1.基于阈值的分割方法

基本思想：首先，确定一个合适的阈值T（阈值选定的好坏是此方法成败的关键）；其次，将大于等于阈值的像素作为物体或背景，生成一个二值图像。

（基于图的灰度直方图）





2.基于边缘检测的分割方法

基本思想：计算局部微分算子
一阶导数：用梯度算子来计算

用途：用于检测图像中边的存在

二阶导数：通过拉普拉斯算子来计算

用途：

1）二阶导数的符号，用于确定边上的像素是在亮的一边，还是暗的一边。

2）二阶导数的零交叉点用于确定边缘的中心。



3、区域生长

算法实现：

1）根据图像的不同应用选择一个或一组种子，它或者是最亮或者是最暗，或者是位于点簇中间的点。

2）选择一个条件

3）从该种子开始往外扩张，首先把种子像素加入结果集合，然后不断将与集合中各像素连通，且满足条件的像素加入集合。

4）上一过程进行到不再有满足条件的新节点加入集合为止。
3.1 、区域分裂与聚合

算法实现：

1）对图像中灰度级不同的区域，均分成四个子区域

2）如果相邻的子区域所有像素的灰度级相同，则将其合并

3）反复进行上两步操作，直至不再有新的分裂与合并为止
图像分割的目的

普通分割

将不同分属不同物体的像素区域分开。 如前景与后景分割开，狗的区域与猫的区域与背景分割开。

语义分割

在普通分割的基础上，分类出每一块区域的语义（即这块区域是什么物体）。 如把画面中的所有物体都指出它们各自的类别。

实例分割

在语义分割的基础上，给每个物体编号。 如这个是该画面中的狗A，那个是画面中的狗B。

文章目录
0 区域分割技术
1 区域生长法
1.1 基本方法
1.2 区域生长法算法
2 区域分裂与合并
2.1 实现步骤

0 区域分割技术
基于区域的分割是以直接寻找区域为基础的分割技术，实际上类似基于边界的图像分割技术一样利用了对象与背景灰度分布的相似性。
大体上基于区域的图像分割方法可以分为两大类：

区域生长法
区域分裂与合并

1 区域生长法
根据一定的准则将像素或子区域聚合城更大区域的过程。区域生长法的关键在于选取合适的生长准则，不同的生长准则会影响区域生长的过程、结果。生长准则可根据不同的原则制定，大部分区域生长准则使用图像的局部性质。
1.1 基本方法
以一组种子点开始，将与种子性质相似(如灰度级)的领域像素附加到生长区域的每个种子上
1.1.1 种子产生的方法

根据所解决问题的性质选择一个或多个起点
若无先验信息，则对每个像素计算相同的特性集，特性集在生长过程中用于将像素归属于某个区域
若这些计算的结果呈现了不同簇的值，则簇中心附近的像素可以作为种子

1.1.2 终止规则

若没有像素满足加入到某个区域的条件时，则区域停止生长，终止规则的制定需要先验知识或先验模型。
1.1.3 相似度准则

灰度级类似准则
纹理类似准则
颜色类似准则

1.2 区域生长法算法
1.2.1 基于区域灰度差的区域生长法

这是一种以像素为基本单位进行操作的方法，具体步骤如下：

对图像进行逐行扫描，找出尚没有归属的图像
以该像素为中心检查它的领域像素，即将领域中的像素逐个与它比较，若灰度差小于阈值$T$，则将它们合并
以新合并的像素为中心，回到步骤2检查新像素的邻域，直到区域无法进一步扩张
重复步骤1~3，直到不能找出没有归属的像素则结束整个生长过程

一个4领域、阈值$T=1$的区域生长示例：


改进方法的思路：

求出所有领域的平均灰度差，并合并具有最小灰度差的邻接区域
考虑区域生长的历程
考虑生长形状

1.2.2 基于区域内灰度分布统计的区域生长法

考虑以灰度分布相似性作为生长准则来决定区域的合并，具体步骤如下：

把图像划分为互不重叠的小区域
比较邻接区域的灰度直方图，根据灰度分布的相似性进行区域合并
设定终止准则，通过不断重复步骤2将各个区域依次合并，直到满足终止准则

设$h_1(z)$、$h_2(z)$分别为两个邻接区域的灰度直方图，则灰度分布相似性判断标准为：$\max|\ h_1(z)-h_2(z)\ |$$\sum|\ h_1(z)-h_2(z)\ |$若检测结果小于给定阈值$T$，即将两个区域合并

需要注意的是，划分区域的大小要合适，太小则可靠性降低，太大则测得的区域形状不理想
2 区域分裂与合并
区域分裂与合并算法的基本思路类似于微分，即无穷分割，然后将分割后满足相似度准则的区域进行合并。
2.1 实现步骤

对图像中灰度级不同的区域，均分为4个子区域
若相邻的子区域所有像素的灰度级相同，则将其合并
重复1~2步骤，直到不再有新的分裂与合并为止

2.1.1 改进方法

将相似度准则$P(R_i)$定义为:

区域内多于80%的像素满足不等式$P(R_i)=|\ z_{ij}-m_i\ |\leqslant 2\sigma_i$其中$z_{ij}$表示区域$R_{ij}$中第$j$个点的灰度级；$m_i$表示区域$R_i$的平均灰度级；$\sigma_i$表示区域$R_i$灰度级的标准方差
若$P(R_i)\leqslant 2\sigma_i$，则将区域内所有像素的灰度级置为$m_i$

该系列文章是讲解Python OpenCV图像处理知识，前期主要讲解图像入门、OpenCV基础用法，中期讲解图像处理的各种算法，包括图像锐化算子、图像增强技术、图像分割等，后期结合深度学习研究图像识别、图像分类应用。希望文章对您有所帮助，如果有不足之处，还请海涵~
该系列在github所有源代码：https://github.com/eastmountyxz/ImageProcessing-Python

PS：请求帮忙点个Star，哈哈，第一次使用Github，以后会分享更多代码，一起加油。
同时推荐作者的C++图像系列知识：

[数字图像处理] 一.MFC详解显示BMP格式图片

[数字图像处理] 二.MFC单文档分割窗口显示图片

[数字图像处理] 三.MFC实现图像灰度、采样和量化功能详解

[数字图像处理] 四.MFC对话框绘制灰度直方图

[数字图像处理] 五.MFC图像点运算之灰度线性变化、灰度非线性变化、阈值化和均衡化处理详解

[数字图像处理] 六.MFC空间几何变换之图像平移、镜像、旋转、缩放详解

[数字图像处理] 七.MFC图像增强之图像普通平滑、高斯平滑、Laplacian、Sobel、Prewitt锐化详解
前文参考：

[Python图像处理] 一.图像处理基础知识及OpenCV入门函数

[Python图像处理] 二.OpenCV+Numpy库读取与修改像素

[Python图像处理] 三.获取图像属性、兴趣ROI区域及通道处理

[Python图像处理] 四.图像平滑之均值滤波、方框滤波、高斯滤波及中值滤波

[Python图像处理] 五.图像融合、加法运算及图像类型转换

[Python图像处理] 六.图像缩放、图像旋转、图像翻转与图像平移

[Python图像处理] 七.图像阈值化处理及算法对比

[Python图像处理] 八.图像腐蚀与图像膨胀

[Python图像处理] 九.形态学之图像开运算、闭运算、梯度运算

[Python图像处理] 十.形态学之图像顶帽运算和黑帽运算

[Python图像处理] 十一.灰度直方图概念及OpenCV绘制直方图

[Python图像处理] 十二.图像几何变换之图像仿射变换、图像透视变换和图像校正

[Python图像处理] 十三.基于灰度三维图的图像顶帽运算和黑帽运算

[Python图像处理] 十四.基于OpenCV和像素处理的图像灰度化处理

[Python图像处理] 十五.图像的灰度线性变换

[Python图像处理] 十六.图像的灰度非线性变换之对数变换、伽马变换

[Python图像处理] 十七.图像锐化与边缘检测之Roberts算子、Prewitt算子、Sobel算子和Laplacian算子

[Python图像处理] 十八.图像锐化与边缘检测之Scharr算子、Canny算子和LOG算子
前面的文章讲解了图像锐化和边缘提取技术，该篇文章将开始围绕图像分割进行讲解。百度百科将其定义为：

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。

本篇文章主要讲解基于理论的图像分割方法，通过K-Means聚类算法实现图像分割或颜色分层处理。基础性文章，希望对你有所帮助。

1.K-Means原理

2.K-Means聚类分割灰度图像

3.K-Means聚类对比分割彩色图像
注意 ：该部分知识均为自己查阅资料撰写，转载请署名CSDN+杨秀璋及原地址出处，谢谢！！


PS：文章参考自己以前系列图像处理文章及OpenCV库函数，同时参考如下文献：

杨秀璋等. 基于苗族服饰的图像锐化和边缘提取技术研究[J]. 现代计算机，2018(10).

《数字图像处理》（第3版），冈萨雷斯著，阮秋琦译，电子工业出版社，2013年.

《数字图像处理学》（第3版），阮秋琦，电子工业出版社，2008年，北京.

《OpenCV3编程入门》，毛星云，冷雪飞，电子工业出版社，2015.

一.K-Means聚类原理
第一部分知识主要参考自己的新书《Python网络数据爬取及分析从入门到精通（分析篇）》和之前的博客 [Python数据挖掘课程] 二.Kmeans聚类数据分析。
K-Means聚类是最常用的聚类算法，最初起源于信号处理，其目标是将数据点划分为K个类簇，找到每个簇的中心并使其度量最小化。该算法的最大优点是简单、便于理解，运算速度较快，缺点是只能应用于连续型数据，并且要在聚类前指定聚集的类簇数。
下面是K-Means聚类算法的分析流程，步骤如下：

第一步，确定K值，即将数据集聚集成K个类簇或小组。
第二步，从数据集中随机选择K个数据点作为质心（Centroid）或数据中心。
第三步，分别计算每个点到每个质心之间的距离，并将每个点划分到离最近质心的小组，跟定了那个质心。
第四步，当每个质心都聚集了一些点后，重新定义算法选出新的质心。
第五步，比较新的质心和老的质心，如果新质心和老质心之间的距离小于某一个阈值，则表示重新计算的质心位置变化不大，收敛稳定，则认为聚类已经达到了期望的结果，算法终止。
第六步，如果新的质心和老的质心变化很大，即距离大于阈值，则继续迭代执行第三步到第五步，直到算法终止。

下图是对身高和体重进行聚类的算法，将数据集的人群聚集成三类。

	


二.K-Means聚类分割灰度图像
在图像处理中，通过K-Means聚类算法可以实现图像分割、图像聚类、图像识别等操作，本小节主要用来进行图像颜色分割。假设存在一张100×100像素的灰度图像，它由10000个RGB灰度级组成，我们通过K-Means可以将这些像素点聚类成K个簇，然后使用每个簇内的质心点来替换簇内所有的像素点，这样就能实现在不改变分辨率的情况下量化压缩图像颜色，实现图像颜色层级分割。
在OpenCV中，Kmeans()函数原型如下所示：
retval, bestLabels, centers = kmeans(data, K, bestLabels, criteria, attempts, flags[, centers])

data表示聚类数据，最好是np.flloat32类型的N维点集
K表示聚类类簇数
bestLabels表示输出的整数数组，用于存储每个样本的聚类标签索引
criteria表示算法终止条件，即最大迭代次数或所需精度。在某些迭代中，一旦每个簇中心的移动小于criteria.epsilon，算法就会停止
attempts表示重复试验kmeans算法的次数，算法返回产生最佳紧凑性的标签
flags表示初始中心的选择，两种方法是cv2.KMEANS_PP_CENTERS ;和cv2.KMEANS_RANDOM_CENTERS
centers表示集群中心的输出矩阵，每个集群中心为一行数据

下面使用该方法对灰度图像颜色进行分割处理，需要注意，在进行K-Means聚类操作之前，需要将RGB像素点转换为一维的数组，再将各形式的颜色聚集在一起，形成最终的颜色分割。
# coding: utf-8
import cv2
import numpy as np
import matplotlib.pyplot as plt

#读取原始图像灰度颜色
img = cv2.imread('scenery.png', 0) 
print img.shape

#获取图像高度、宽度
rows, cols = img.shape[:]

#图像二维像素转换为一维
data = img.reshape((rows * cols, 1))
data = np.float32(data)

#定义中心 (type,max_iter,epsilon)
criteria = (cv2.TERM_CRITERIA_EPS +
            cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)

#设置标签
flags = cv2.KMEANS_RANDOM_CENTERS

#K-Means聚类 聚集成4类
compactness, labels, centers = cv2.kmeans(data, 4, None, criteria, 10, flags)

#生成最终图像
dst = labels.reshape((img.shape[0], img.shape[1]))

#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']

#显示图像
titles = [u'原始图像', u'聚类图像']  
images = [img, dst]  
for i in xrange(2):  
   plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray'), 
   plt.title(titles[i])  
   plt.xticks([]),plt.yticks([])  
plt.show()

输出结果如图所示，左边为灰度图像，右边为K-Means聚类后的图像，它将灰度级聚集成四个层级，相似的颜色或区域聚集在一起。

	


三.K-Means聚类对比分割彩色图像
下面代码是对彩色图像进行颜色分割处理，它将彩色图像聚集成2类、4类和64类。
# coding: utf-8
import cv2
import numpy as np
import matplotlib.pyplot as plt

#读取原始图像
img = cv2.imread('scenery.png') 
print img.shape

#图像二维像素转换为一维
data = img.reshape((-1,3))
data = np.float32(data)

#定义中心 (type,max_iter,epsilon)
criteria = (cv2.TERM_CRITERIA_EPS +
            cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)

#设置标签
flags = cv2.KMEANS_RANDOM_CENTERS

#K-Means聚类 聚集成2类
compactness, labels2, centers2 = cv2.kmeans(data, 2, None, criteria, 10, flags)

#K-Means聚类 聚集成4类
compactness, labels4, centers4 = cv2.kmeans(data, 4, None, criteria, 10, flags)

#K-Means聚类 聚集成8类
compactness, labels8, centers8 = cv2.kmeans(data, 8, None, criteria, 10, flags)

#K-Means聚类 聚集成16类
compactness, labels16, centers16 = cv2.kmeans(data, 16, None, criteria, 10, flags)

#K-Means聚类 聚集成64类
compactness, labels64, centers64 = cv2.kmeans(data, 64, None, criteria, 10, flags)

#图像转换回uint8二维类型
centers2 = np.uint8(centers2)
res = centers2[labels2.flatten()]
dst2 = res.reshape((img.shape))

centers4 = np.uint8(centers4)
res = centers4[labels4.flatten()]
dst4 = res.reshape((img.shape))

centers8 = np.uint8(centers8)
res = centers8[labels8.flatten()]
dst8 = res.reshape((img.shape))

centers16 = np.uint8(centers16)
res = centers16[labels16.flatten()]
dst16 = res.reshape((img.shape))

centers64 = np.uint8(centers64)
res = centers64[labels64.flatten()]
dst64 = res.reshape((img.shape))

#图像转换为RGB显示
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
dst2 = cv2.cvtColor(dst2, cv2.COLOR_BGR2RGB)
dst4 = cv2.cvtColor(dst4, cv2.COLOR_BGR2RGB)
dst8 = cv2.cvtColor(dst8, cv2.COLOR_BGR2RGB)
dst16 = cv2.cvtColor(dst16, cv2.COLOR_BGR2RGB)
dst64 = cv2.cvtColor(dst64, cv2.COLOR_BGR2RGB)

#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']

#显示图像
titles = [u'原始图像', u'聚类图像 K=2', u'聚类图像 K=4',
          u'聚类图像 K=8', u'聚类图像 K=16',  u'聚类图像 K=64']  
images = [img, dst2, dst4, dst8, dst16, dst64]  
for i in xrange(6):  
   plt.subplot(2,3,i+1), plt.imshow(images[i], 'gray'), 
   plt.title(titles[i])  
   plt.xticks([]),plt.yticks([])  
plt.show()

输出结果如下图所示，当K=2颜色聚集成两种，当K=64颜色聚集成64种。

	


希望这篇基础性文章对您有所帮助，如果有错误 或不足之处，请海涵！一起加油，考博加油。

	

（By：Eastmount 2019-04-11 夜8点写于贵阳·钟书阁 https://blog.csdn.net/Eastmount/）

2020年8月18新开的“娜璋AI安全之家”，主要围绕Python大数据分析、网络空间安全、人工智能、Web渗透及攻防技术进行讲解，同时分享CCF、SCI、南核北核论文的算法实现。娜璋之家会更加系统，并重构作者的所有文章，从零讲解Python和安全，写了近十年文章，真心想把自己所学所感所做分享出来，还请各位多多指教，真诚邀请您的关注！谢谢。

  

最近在研究全卷积神经网络在图像分割方面的应用，因为自己是做医学图像处理方面的工作，所以就把一个基于FCN（全卷积神经网络）的神经网络用 keras 实现了，并且用了一个医学图像的数据集进行了图像分割。
全卷积神经网络
大名鼎鼎的FCN就不多做介绍了，这里有一篇很好的博文 http://www.cnblogs.com/gujianhan/p/6030639.html。

不过还是建议把论文读一下，这样才能加深理解。
医学图像分割框架
医学图像分割主要有两种框架，一个是基于CNN的，另一个就是基于FCN的。
基于CNN 的框架
这个想法也很简单，就是对图像的每一个像素点进行分类，在每一个像素点上取一个patch，当做一幅图像，输入神经网络进行训练，举个例子：

这是一篇发表在NIPS上的论文Ciresan D, Giusti A, Gambardella L M, et al. Deep neural networks segment neuronal membranes in electron microscopy images[C]//Advances in neural information processing systems. 2012: 2843-2851.
这是一个二分类问题，把图像中所有label为0的点作为负样本，所有label为1的点作为正样本。
这种网络显然有两个缺点：
冗余太大，由于每个像素点都需要取一个patch，那么相邻的两个像素点的patch相似度是非常高的，这就导致了非常多的冗余，导致网络训练很慢。
感受野和定位精度不可兼得，当感受野选取比较大的时候，后面对应的pooling层的降维倍数就会增大，这样就会导致定位精度降低，但是如果感受野比较小，那么分类精度就会降低。
基于FCN框架
在医学图像处理领域，有一个应用很广泛的网络结构----U-net ,网络结构如下：

可以看出来，就是一个全卷积神经网络，输入和输出都是图像，没有全连接层。较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题。
问题分析
我采用的数据集是一个isbi挑战的数据集，网址为： http://brainiac2.mit.edu/isbi_challenge/
数据集需要注册下载，我的GitHub上也有下载好的数据集。
这个挑战就是提取出细胞边缘，属于一个二分类问题，问题不算难，可以当做一个练手。

这里最大的挑战就是数据集很小，只有30张512*512的训练图像，所以进行图像增强是非常有必要的。
在这里，我参考了一篇做图像扭曲的论文，http://faculty.cs.tamu.edu/schaefer/research/mls.pdf
实现的效果如下：
这是扭曲之前：

这是扭曲之后：

这是我进行图像增强的代码： http://download.csdn.net/detail/u012931582/9817058
keras 实现
keras是一个非常简单地深度学习框架，可以很方便的搭建自己的网络，这是我的keras实现： https://github.com/zhixuhao/unet
效果
最后在测试集上的精度可以达到95.7。
效果如下所示：