新疆水库项目斜坡检测项目架构模型 v1.1.0
项目名称：大坝斜坡异常监控系统（Hydropower dam monitoring）
项目分类：开发/科研/合作
项目撰写：乔金明
立项时间：2020-07-01 00:00:00
工作部门：南京理工大学科技园
基本流程
-
获取监控文件与文件的类型，划分图像集合： type映射5种情况+处理失败，A集（记录特征值，原图+比对低维度图+定位）
- 如果文件为视频格式，则对视频进行按帧切割，获取图像集合，执行2
- 如果文件为图像格式，执行2
- 否则，执行9
- 初始化图像属性集合，例：image.sha1 = ‘’; image.type = ‘jpg’; image.similarity_between_normal_image = 1…
-
获取待检测图像集合，进行图像去重
- 如果图像集合大小为1，执行4
- 如果图像集合大小大于1，执行图像相似度检测模块，根据自身相似度过滤重复图片，执行4
- 执行图像格式统一处理模块，对图像集合进行基本格式统一处理，二类图（预处理）
-
获取已经去重的需要检测的图像集合，获取正常图像集合，对这两个集合进行图像相似度检测，去除相似度低于阈值的图像
- 如果需检测的图像集合大小为0，执行9
- 否则，执行5
- 图像进行影响因素去除模块处理，去除影响识别图像异常的因素
- 对已有的需要检测的模块进行相关指标检测，对指标超过阈值设定进行相关子模块处理
- 将影响因素参数与修正后的参数更新到图像属性集合中
- 返回修正后的图像矩阵与图像属性，执行7，如果异常，执行9
- 对图像进行边坡异常检测模块处理，检测规定的异常类型
- 进行图像相似度检测，如果低于阈值，执行9
- 否则进行实际异常检测
- 返回检测结果与检测预估准确度指标
- 根据检测结果进行边坡异常图像归类到相应集合
- 检测未通过置与D集
- 检测通过，但是没有经过人工审核置于C集
- 检测通过，并且经过人工审核置于A集
- 还原图像，输出**图像检测报告**，结束
图像格式统一处理模块
- 获取图像集合与设置的图像格式模板，检查图像属性与图像格式模板，相同参数继续
- 不同参数汇总（通道，分辨率，格式），执行2
- 检测不同参数，进行性质不变转换，执行3
- 返回转换后的图像，并将性质改变部分更新到图像属性中
图像相似度(class)
- 获取检测图像集合与参照图像A集合
- 如果参照图像集合为空，执行2
- 如果参照图像集合不为空，执行3
- 按照每秒帧数获取中间图像集合作为对比图像集合一，其他图像集合做为对比图像集合二，执行4
- 检测图像集合作为对比图像集合一，参照图像集合作为对比图像集合二(方法处理->子集的获取-> 操作记录->集合)，执行4
- 对比图像集合一入栈，遍历对比图像集合二，进行**图像相似度检测**
- 如果相似度评价分数高于阈值，出栈，更新图像属性集合
- 如果遍历结束，相似度评价分数低于阈值，取最大相似度更新图像属性集合
- 对比图像集合二进行属性更新
- 如果对比图像集合一与对比图像集合二中集合大小均为1，则更新图像集合属性
- 否则，结束
- 返回，结束
影响因素去除模块（图像->类）
- 执行影响因素子模块指标检测流水线，更新图像相关子模块的评价指标
- 噪音检测模块
- 角度视距检测模块
- 阴影检测模块
- 对相关子模块进行相关模块校正处理，去除相关影响因素，函数
- 噪音去除，诸如摄像头污渍，降水，图像本身的噪音，区分噪音与实际异常
- 图像配准，诸如图像偏转（指导摄像头微调，快速配准），俯仰视角，视距放缩 -> 最大
- 阴影处理，诸如岩石阴影，天气阴影，日照阴影
- 对处理后的图像进行影响因素子再次标检测
- 如果检测指标符合阈值，返回修正后的图像与图像参数
- 否则返回异常
边坡异常检测模块处理
- 检测边坡中对需要检测的部分进行识别，包括：岩面变化（岩面断裂塌方等），坝体变化（落石等）
- 相似度检测，如果相似度高于设定值，标定正常返回，否则执行2
- 图像特征提取，基于特征向量进行相关像素块对比，获取测试集->对比实验，如果对比结果不为空返回，否则执行3
-
其他检测处理
，返回
<font name=’图像属性集合’ color=#3CB371>图像属性集合</font>
- 图像属性集合是一个确定范围的图像属性结构，标识着图像再各个阶段处理的参数（需要在开发中不断补充定义），例如：
- 基本信息：高，长，图像格式，图像通道（RGB，HSV…），图像sha1等
- 图像相似度参数：与正常图像的相似度，相似度异常的算法指标等
- 摄像机参数：图像拍摄时间，图像拍摄角度，图像视距等
- 图像阴影：是否存在阴影，阴影位置坐标，阴影亮度等
- 等
- 图像相似度检测有相关n种算法，项目应用地具有的特征是：天气变化明显，过渡气候快，近乎没有植被覆盖，地貌以岩石为主，目前已实现的算法有：（实验）
- 基于直方图进行图像色段统计对比，但是不能唯一作为图像相同的依据
- 基于图像结构进行的SSIM检测比较，容易被图像位置干扰，检测效果好
- 基于感知哈希算法进行图像指纹比较，图像相似评价效果好
- 图像相似度作为相似图像初始检测对相似较为严格，对不同图像检测较为宽松，基于项目环境，目前实现的可以使用的评价指标（阈值动态调整）[图像检索]
- SSIM，相似度指标，通用
- 均方误差MSE与峰值信噪比PSNR
- 汉明距离
- 错位明暗检测等情况是否可以通过，石块断面等异常检测是否不通过
<font name=’图像检测报告’ color=#3CB371>图像检测报告</font>
- 根据当前流程，所具有的检测报告阶段有
- 监控输入文件格式无法处理报告
- 监控输入的文件通过直接相似对比不存在问题
- 处理图像中影响异常检测的因素失败问题报告
- 处理结果报告
