图像预处理操作项
时间：2020-12-27 10:00:00
单位：南理工理学院
姓名：乔金明、顾成伟
opencv中文：http://woshicver.com/
说明：预处理操作项是在图像算法运行前的处理，即不包括任何理解或训练算法，在实现本篇预处理中应着重注意；分类图像后进行预处理，指的是对图像进行可以预处理的指标分类，而不是图像信息分类。
一. 图像物理存储结构
- 目的：图像处理归一化，提出图像预处理依据，对图像进行基本的分类，以便后续处理
- 图像基本可操作项：
- 长、宽 、像素-> 图像实际存储的二维数组规模（X、Y）
- 优势：处理图像统一化，避免耦合大量图像规格导致运行效率降低
- 要点：避免图像缩小所损耗的图像信息
- 例子：图像长n像素，宽m像素
- 通道、数据类型 -> 图像实际的读取数据的形式（Z）
- 优势：程序逻辑处理数据归一化，避免数据处理过程中的频繁异常
- 要点：均衡测试高低精度，精度过高处理麻烦，精度过低处理粗糙
- 例子：RGB图像三通道，图像数据类型int8
- 图像的实际图格式 -> 图像存储实际格式特征
- 优势：处理方便，避免规划两套算法逻辑
- 要点：标准的图像格式分为标量图与矢量图等，标量图称位图，即广泛处理的数字图像，矢量图即公式图像，有效减少放大后的视觉损耗
- 例子：RGB位图
- 图像的存储图格式 -> 图像数据的文件尾缀
- 优势：统一格式处理，不同的格式具有不同的属性特点，避免处理代价，增加处理精度
- 要点：依据实际的算法逻辑开发选择合适的格式编码
- 例子：JPG、PNG、BMP、JPEG、PSD等-> 位图；SVG、DWG等 -> 矢量图
- 图像的颜色模型、色彩空间 -> 图像实际分析的逻辑模型
- 优势：不同的颜色模型是图像处理的根本，例如便于亮度处理的LAB模式，视觉处理的RGB模式，配准处理的灰度模式等
- 要点：根据实际不同的算法进行图像模式的选择，不同算法对于图像模式要求较为严格，尤其是对图像处理的精度与速度上更为明显
- 例子：RGB、LAB、CMYK、HSV等
- 图像的物理存储大小 -> 图像所占用的物理磁盘空间
- 优势：小图像处理速度较快，尤其样本图像较小时训练的速率将大幅提升
- 要点：测试最好的图像存储阈值，图像多大处理较慢，图像过小信息丢失过多
- 例子：英寸、MB
- 图像存储的位深度 -> 图像每个像素所占用的物理位数
- 优势：图像的位数越多，即位深越大，所能够存储的颜色种类就越多
- 要点：需要根据实际算法需求增加或者优化图像的位深，常见的RGB的图像位深为8，即256的颜色域
- 例子：RGB图像256色域位深为8bit
- 色调、饱和度、色相、亮度、对比度、分辨率、图像层次 -> 视觉感官参数
- 优势：处理后的可对人类视觉感官具有明显的突出性，这部分相关参数对程序处理结果也具有一定影响，但是实现过程一般为算法处理的结果
- 要点：为使程序也具有人类视觉理解的智能性，尤其是对于深度学习而言，相关参数的处理也是必要的，但是相关实现算法五花八门，算法实现后的视觉效果虽然相同，然而实际对图像的削弱程度却不尽相同，需要进行较多的训练测试
- 例子：色调、饱和度、色相、亮度、对比度、分辨率、图像层次
- 长、宽 、像素-> 图像实际存储的二维数组规模（X、Y）
- 图像感兴趣可操作项：
- 图像区域ROI的划分 -> 程序实际处理图像区域
- 优势：将图像处理的重心转移到关注点上来，而非其他区域
- 要点：图像的基本处理中具有图像缩小处理，但是这样属于无差别缩小，势必削弱图像的有效信息，如果能够直接进行重点区域切割，效果更好，典型方法为根据图像信息进行切割
- 例子：图像ROI区域
- 图像通道拆分 -> 获取图像中重点分析的通道掩模
- 优势：可重点分析感兴趣的图像通道细节，而不是全部分析
- 要点：诸如图像冷色调信息分析，主要进行B像素通道解析，可获取更多的图像信息，避免无效分析，通常此项作为附加分析处理
- 例子：RGB图像的R、G、B三层像素掩模
- 图像不感兴趣区域填充 -> 去除不感兴趣的区域
- 优势：同第一项相似，当图像区域过小无法继续切割，可作同色填充，去除图像的无用细节，方便处理
- 要点：同第一项相似，避免将有效的区域进行填充导致程序处理失败
- 例子：图像泛洪填充 -> 类洪水蔓延式处理、边框填充
- 图像区域ROI的划分 -> 程序实际处理图像区域
- 图像的逻辑可操作项：
- 图像加、减运算，图像融合处理 -> 图像掩模处理
- 优势：可以根据已有的掩模运算，对图像进行批量优化，增加图像处理的模块性与鲁棒性
- 要点：需要进行掩模处理，这样的处理需要根据实际情况进行相应的补充，否则会适得其反
- 例子：图像相加融合
- 图像按位运算 -> 图像的逻辑运算
- 优势：增加图像的一些识别标记，或者去除图像的一些识别标记，更容易进行定位或者逻辑处理等
- 要点：按位处理的逻辑性，必须保持清晰的处理思路，按照不同场景进行按位类别处理，否则可能导致不可预料的后果
- 例子：AND、OR、NOT -> 常用、XOR
- 图像加、减运算，图像融合处理 -> 图像掩模处理
- 图像的几何可操作项：
- 图像缩放、图像平移、图像旋转 -> 图像具体特征操作
- 优势：对图像基本的内容进行处理，其中缩放项与图像基本处理项中的第一步相类似，平移与旋转也相同原理，可增加图像的识别的规范性，隐性提升识别精度
- 要点：需要设计合理的处理算法将图像待识别区域进行移位处理，确保处理的精确性
- 例子：二维平移，三维旋转
- 图像仿射变换 -> 图像的基本变形操作
- 优势：可以对图像进行拉伸，重点突出图像的变化
- 要点：避免图像变形的影响，图像采集时通过会因为操作拍摄的角度而导致图像变形，通过处理可进行图像复原
- 例子：图像仿射变换，图像拉伸
- 图像透视变换 -> 图像的基本投影操作
- 优势：可以对图像进行新视野检查，可以增加一些图像细节
- 要点：需要确保放大的粒度，透视中心放大粒度较小，而周围粒度较大
- 例子：图像点光源投影
- 图像缩放、图像平移、图像旋转 -> 图像具体特征操作
- 图像的阈值可操作项：
- 图像简单阈值、自适应阈值、大津法（otus）-> 图像无关区域的去除
- 优势：可以以传统方式去除或者以自适应的方式去除图像中的相关阈值区域内的所有无关信息
- 要点：需要慎重选择阈值，虽然具有大津法根据直方图进行自适应划分，但是需要根据实际情况进行阈值操作，否则很容易导致图像有效信息丢失
- 例子：大津法
- 图像简单阈值、自适应阈值、大津法（otus）-> 图像无关区域的去除
- 图像的平滑可操作项：
- 图像的2D卷积（图像过滤）、图像模糊（图像平滑） -> 图像高低通滤波器
- 优势：可以模糊平滑噪点与边缘，对图像锐点或者其他杂质信息进行处理
- 要点：需要理解卷积的定义与平滑操作，与相关参数的设置，避免将有效信息平滑过滤掉
- 例子：图像滤镜
- 图像的均值滤波、高斯滤波、双边滤波、中位滤波 -> 去除图像噪音
- 优势：可以有效去除图像中的噪点，避免噪点干扰，提升图像分析的完整性
- 要点：不同的滤波算法对不同的噪音具有不同的处理效果，需要进行实验比较，选择合适的滤波算法或者组合滤波算法
- 例子：图像滤波算法
- 图像的2D卷积（图像过滤）、图像模糊（图像平滑） -> 图像高低通滤波器
- 图像的形态学可操作项：
- 图像的侵蚀与扩张 -> 图像突出重点或者减弱重点
- 优势：可以将重点关注信息进行“变胖”与“变瘦”
- 要点：需要明确对实际重点对象的操作，一般来说不对图像进行侵蚀与扩张处理，而是配合下两步使用
- 例子：图像侵蚀、图像扩张
- 图像的开运算与闭运算 -> 侵蚀与扩张的实际操作
- 优势：有效突出图像侵蚀与扩张的优点
- 要点：开运算 -> 图像先侵蚀后扩张；闭运算 -> 图像先扩张后侵蚀
- 例子：图像的开闭运算
- 图像的形态学梯度与顶帽、黑帽 -> 开运算与闭运算的实际操作
- 优势：有效突出图像开运算与闭运算的优点
- 要点：梯度 -> 开运算与闭运算之间的区别；顶帽 -> 开运算之差；黑帽 -> 闭运算之差
- 例子：形态学梯度、顶帽算法
- 图像的侵蚀与扩张 -> 图像突出重点或者减弱重点
- 图像的梯度可操作项
- Sobel 和 Scharr 算子 -> 高斯平滑加微分运算的联合运算
- 优势：抗噪声，可设置垂直或者水平偏振
- 要点：需要根据实际情况进行酌情使用，防止偏振效果过大，导致有限信息减弱
- 例子：索贝尔算子
- Laplacian 算子 -> 每一阶导数通过Sobel算子计算
- 优势：重点突出，可设置偏振指标
- 要点：需要根据实际情况进行酌情使用，一般用于突出边缘效果
- 例子：拉普拉斯算子
- 边缘检测 -> 用于突出图像中的边缘特征
- 优势：可以检测突出图像中的物体边缘
- 要点：需要选择合适的边缘算法进行使用，否则容易覆盖真实的实验裂缝场景
- 例子：Canny算法、非极大值抑制 、磁滞阈值
- Sobel 和 Scharr 算子 -> 高斯平滑加微分运算的联合运算
- 图像的直方图可操作项
- 图像直方图均衡化 -> 提高图像对比度
- 优势：可以根据色彩的分布对图像进行重点锐化，突出图像的对比度
- 要点：需要确认算法实现过程中对直方图均衡有一定的容错性，否则均衡后的图像很容易改变图像的意义
- 例子：直方图均衡化
- 图像直方图反投影 -> 使用图像的颜色索引
- 优势：与其余部分相比，输出图像将在可能有对象的区域具有更多的白色值，突出颜色索引
- 要点：用于图像分割或在图像中查找感兴趣的对象，需结合实际情况使用
- 例子：直方图反投影
- 图像直方图均衡化 -> 提高图像对比度
- 图像的逻辑变换可操作项：
- 图像的傅里叶变换 -> 图像的频率转换
- 优势：提供了图像在频域中操作的可能性
- 要点：需要进行转化操作，否则深度学习无法识别显著特征的逻辑图像
- 例子：傅里叶变换、逆DFT
- 图像的霍夫线变换 -> 检测图像中的线条
- 优势：可以用数学形式表示形状，是一种检测任何形状的流行技术
- 要点：需要进行转化操作，否则深度学习无法识别显著特征的逻辑图像
- 例子：霍夫线变换
- 图像的傅里叶变换 -> 图像的频率转换
- 图像的特征可操作项：
- 图像的特征校正 -> 图像配准
- 优势：对两张图像进行初步的目标级配准，防止无效信息干扰
- 要点：必须是两张图像，单张图像没有意义，主要根据实际场景进行图像关键目标配准
- 例子：sift、surf、orb
- 图像的特征校正 -> 图像配准
