关于项目的深度学习部分任务补全
时间：2021-04-11 01:00:00
实现：关于项目的深度学习部分任务补全
姓名：乔金明
概述
-
针对整个项目的基于实际应用效果的图像变化检测部分，尝试运行的深度学习架构58种，符合场景需求（表现较为良好的）28种，改进网络更加契合场景的8种，自己搭建测试成功的3种，按照提取特征层次排序，注（已经排除关于vgg等或者单一网络架构）
- CDNet
- Unet++
- FCN
- siamunet_conv
- siamunet_diff
-
LaNet
- Scene Chage Net
- ChangeNet
-
针对整个项目场景所具有的特点，对整个场景进行区分，仅基于图像对比而言（视频对比考虑后发现没有意义，异常是对于移动摄像头来说是突然发生的，即变化的过程无法被捕捉到，通过光流，物体跟踪架构实现效果是没有意义的），按顺序为：
- 针对像素的图像变化检测，底层特征提取的最为精细，带来的下效果是获取的异常区域过多（cv项目基于此原理，检测精准，不会遗漏异常，但是易受干扰，报错多），此场景不能被取代，例如山坡的落石滑动，其边缘特征、场景特征都几乎提取不出来，需要像素级的特征提取
- 针对对象的图像变化检测（图像分割层面），这个网络训练架构是最符合场景需求的，介于像素与场景之间的效果，但是图像中不能训练过多关于底层特征的样本，样本的标注需要准确，否则其效果将出人意料的差
- 针对场景的图像变化检测，最符合人眼观测效果，即场景发生了变化，例如路上多了个车，但是石头中多了个石头是认为同一场景的，好处就是通过此架构提取的特征可以避免雨雪，光影，阴影等影响，缺点正是无法对基于像素的图像异常进行检测
-
未来发展：“理论上说，网络架构足够大，数据足够多，可以拟合任意一种场景”，所以可以将上面中28种网络重新进行架构拟合设计与实验，可以对实际场景有非常好的效果（超越人眼）
针对裂缝深度学习的总结（去年梳理环境中的疑问解释）
-
github的源码架构crack-seg-net，使用的是mask-cnn，掩模卷积神经网络，实际上是对可能掩模进行区分
-
重点是对掩模的操作，所以识别的精度是被限制的，例如会对阴影，手指缝，其他类似缝隙的进行误识别；此外关于边界掩模的问题会导致裂缝覆盖不完全或者覆盖超限；网络提出的比较早，架构比较简单，整体特征精度不高，常用于对比试验和初始数据处理，无法到达人眼标准。
-
优化方式：1、本身属于深度学习网络->增大训练样本的数量与种类；2、修正网络架构，例如增加残差网络，降低全连接层等；3、增大预处理与结果处理粒度（不推荐，颠覆了深度学习意义，实际不通过处理也可以获取超越人眼的效果）；4、更换网络（后期处理，可以从分割系列的网络入手，不断提高拟合精度，到达拍摄设备的最大精度，注：不带误差补充的实际精度，非估读精度，并提高一个数量级）
实际网络规模与难度对比
-
最开始图像变化提出的vgg特征网络—造一个陈述句
-
识别裂缝的深度学习架构—通过给定的词造一个排比句
-
YOLO_v5—通过给定的词写一段口语交际，5句话以内，要求辞藻华丽，（特点是速度快，框择）
-
像素级的图像变化检测—口语交际（10句以内），要求描述准确
-
对象级的图像变化检测—不少于800字的记叙文
-
场景级的图像变化检测—不少于1200字的议论文
-
拟合场景神经网络（大网络场景检测）—本科论文（随着网络规模越大，精度越高，论文档次越高）
-
cv项目—给定题目与公式，进行求解，越准越快越好
当前的项目状态
- 可以达到场景级的图像变化检测，对于项目的意义是标志性的，系统正式推出V3.0.0版本，三个阶段分别是cv结果有效，项目架构解耦合更新，加入深度学习理论思想，也是开始计划中的最后一个阶段
- 难以靠时间堆叠取得好的效果，往往需要积累，训练，测试不断周期循环；每个模块的网络参数任务量调整大，尤其是对于大网络结构而言，人力与机器算力需要线性提升；信息茧房，训练测试代价比较大，很容易形成思维定式，不再更新已经好的网络；深度学习网络不能简单叠加，效果需要考虑正向传播，反向传播，梯度下降，损失，指标，优化器，调度器，激活函数等；数据问题，不同场景下训练的模型有区别，尤其是标签图像对标注的要求较高，需要实际数据训练（多模型场景）
- 现在深度学习中各个阶段的代表性与优化网络架构都有一份，可以通过不断适配进行优化选择（场景超越人眼，但不能保证任意与突发情况超越人眼），与开始设计的数据库架构相适应，多模型适配，超越实验室效果待议，但可以达到商用效果。
- ChangeNet: A Deep Learning Architecture for VisualChange Detection （ECCV,2018）多方证明网络效果不好，时间耗费较长，后续无需在进行测试。
