图像分析需求文档的设计要点
时间：2020-12-20 10:00:00
单位：南理工理学院
姓名：乔金明
一、设计要点主要内容概要
- 创建正常图像集合的必要性与如何创建正常图像集合
- 图像接口设计的原则与实际图像接口设计遵循原理规范
- 图像处理的具体流程与实际图像数据的整体处理过程
二、创建正常图像集合的必要性
- 根据现场实际的拍摄环境与业主需求，在摄像头的可视视距与最大倍数的观测空间内可以进行异常检测，例如观测位置新增的落石，山体缺失的石块，坝体上所存在的安全隐患物体等。所以监控摄像头无法停留在一处进行定点观测，需要进行全观测空间的循环监测，也就是说无法在同一点进行持续性的不间断视野采集，这样的异常点往往是突兀出现的，因此必须要在正常的区域范围内保留正确的场景与现场特征，当巡检至同一点时，才可以根据正常的背景特征采集并划分出当前存在的异常区域
三、如何创建正常图像集合
- 创建图像正常集合可以通过接口模式进行交互存储，包括基于http协议的接口存储写入数据，基于命令行的交互存储记录数据，正常集合图像需要配合的摄像头必要参数有：摄像头设备序列号、摄像头X坐标角度、摄像头Y坐标角度、摄像头放大倍数、摄像头拍摄时间。即通过设备序列号唯一指定摄像头物理设备，通过三维坐标进行精准拍摄定位，通过拍摄时间确定拍摄的具体日期与实际每日采集数据时间段。通过必要参数指定时间、地点与设备可以最大程度的保证图像对比或者建模的同一性，减少归一化图像处理耗费的资源，削弱图像分析占用的时间并提升处理的精度。
- 创建图像请求到达后，图像处理模块读取图像的二进制数据，根据图像的请求类型创建文件名称与存储的文件目录树，将二进制数据写入到磁盘中并将图像的基本信息写入到数据库内，同时将图像附加的设备采集物理信息记录也到数据库中，外键映射指定的唯一图像标识，这样做的目的是同一物理位置标识可能会采集多张图像，即物理位置信息与图像的关系为多对一。
四、图像接口设计的原则
-
图像接口所需要的数据参数与设备接口提供的数据结构与相关方法规范相吻合，即可以通过某一组同类接口即可获取全部所需的接口参数数据结构，减少对原api的修改，增加对原api调用的便捷性。（接口解耦）
- 图像接口应充分解耦，防止图像接口过度耦合导致获取相关参数与定义相关参数过于繁琐，减少测试边界效应，消除隐藏的可能导致代码问题（测试便捷）
- 整个接口主要请求参数组分为四部分：图像视频采集模块，系统配置获取与设置模块，设备编码获取与设置模块，附属补充功能模块，其中最重要的模块为图像视频采集模块，通过对系统的配置获取图像视频流等（开发便捷）
- 主控程序与图像处理程序之间接口通过闭环的握手模式进行交互，即发送请求后，接收请求端响应是接收消息的状态，通过程序处理后的数据再通过请求返回，以唯一任务标识保证整个握手过程的完整性，直到处理至最后请求，整个请求在不断进行交互，各个项目内部采用合适的任务调度进行处理（闭环握手）
- 定义的编码或者设备控制状态随巡检不断进行改变，而数据的编码则尽可能的保持不变，数据编码的配置主要是为了保证数据信息尽可能的存留下来，而非为了处理方便，例如：夏至正午，阳光直射下的硬性阴影会极大的削弱山体的纹路特征，此时使用低曝光与均衡白平衡会极大的保留图像原有特征，因此图像只有在环境因素变换较大的情况下，通过前几次握手请求进行最佳编码配置后，在进行统一使用，编码配置也可以保留在数据库中，以编号的形式进行返回。（配置场景模式，保留图像信息）
- 保障物理设备的寿命，请求与设计多进程请求间的最短路径问题，请求不使用同步响应，防止区域性的震荡问题产生（保护设备属性）
- 返回或者推流图像和视频如果不加入配置参数进行说明则失去意义，设备虽然可以虚拟多人使用，但是实际操作中物理信息与编码配置不变，将四项基本模块进行拆分，保证了低耦合但是会产生异步消息的不统一的问题，如果通过加锁机制又会大大削弱程序执行的时间，所以通过统一接口进行说明（接口内聚）
- 所有的配置表首先会写入到一个配置文件里，配置文件的每一行即一个巡检机位，每一列即相关的物理与编码配置，相关配置参数会依据时间进行限定，即同年的不同时期与同天的不同时段，其编码配置略有不同，依据程序运行的先验知识对配置进行分割存储（统一配置文件管理）
五、图像处理的具体流程
- 主控系统获取设备参数请求图像系统，图像系统给予应答，同时图像系统将任务增加的kafka队列中
- 图像系统检测当前图像信息与设备请求参数，根据数据库字段获取正常的图像，如果无正常集，发送初始化正常集请求，执行1，如果有正常集，执行3
- 获取图像信息，进行信息完整性检测，预估拍摄采集参数，如果参数吻合，执行4，否则重新发送修改参数配置请求，执行1
- 对图像进行基础预处理，规划图像至预设大小、通道、分辨率等基本图像参数
- 对预处理的图像对正常图像进行配准变换，规划图像的实际物体位置，去除无配准区域
- 对正常图像进行建模，规划正常模型，识别配准后的图像位置，对配准图像进行高斯混合变换处理
- 对处理的图像进行形态学准换，放缩并腐蚀其中噪点，突出并锐化其中显著需要处理的图像区域
- 对形态学处理后的图像进行边缘检测处理，划分出其中具有明显区别的物体，对物体进行圈画处理
- 检测阈值大小，如果阈值符合，执行12，否则执行10
- 通过改进CNN模型阴影去雾模型对实际图像进行处理，衰减可透视刚性遮盖的影响
- 通过改进FCN模型与距离算法规划出全部的异常区域，并将异常区域进行切分
- 通过改进RNN模型识别具体异常的实际物体内容，返回图像处理结果
六、编辑工程要点（分析数据）
-
监测对象（异常，边坡位移，宽度）
- 异常类型
- 位置
- 详细物理信息
- 图像信息
- 杂项
