单幅户外彩色图像的阴影检测方法研究

Posted by Jinming Qiao on October 2, 2020

单幅户外彩色图像的阴影检测方法研究


论文名称:《单幅户外彩色图像的阴影检测方法研究》

指导教师:张世辉

论文作者:任卫东

毕业院校:燕山大学


文章内容概要

  1. 基于传统机器学习阴影检测方法的研究,提出在检测前对图像进行加权中值滤波预处理后进行Mean Shift图像分割
  2. 基于亮度、颜色、纹理、梯度方向特征作为阴影特征与在分类问题上具有良好效果的随机森林作为分类器进行训练
  3. 通过对卷积神经网络研究的基础上,提出了一种用于阴影检测的全局语义信息提取模块,兼顾神经网络低层和高特征不同属性提取全局语义信息
  4. 设计一种用于阴影检测任务的卷积神经网络模型架构,使用扩张代替卷积神经网络模型架构
  5. 采用增大感受野的方式,实现端到端的单幅户外彩色图像检测阴影检测

相关基础知识

  • 阴影如何鉴别与计算机对阴影如何识别

    • 通过视觉系统精准地获取到阴影的信息,如阴影的位置、阴影的轮廓、阴影的大小等情况,还能够轻松地发现阴影与目标物体的联系
    • 计算机视觉系统而言,则需要首先通过一些视频、图像采集装置获取视频序列或者单幅图像,然后对获取到的视频、图片信息进行预处理,最后设计并实现合理有效的算法达到阴影检测的目的
  • 随机森林(Random Forests,RF)是一种由多棵决策树组成的分类器,属于有监督的机器学习

    • 训练单棵决策树,首先从训练总样本中有放回随机抽取若干个样本作为训练样本,在每棵决策树每个节点分裂前,从训练样本子集中N个输入特征中随机选取n 个特征,再从n 个特征中选一个最佳的特征再进行分裂

    • 按照上述方式生成多棵决策树,构建森林

    • 利用生成的随机森林分类。将测试样本输入随机森林,每棵决策树模型产生分类结果,最后多个决策树进行投票,将分类结果最多的类别作为随机森林最后最优分类结果

    • 随机森林原理图

基于随机森林实现阴影检测

  • 阴影在实际情况下的形成原理

    • 阴影是一种光学现象,自然生活中当光线在直线传播过程中照射在透光性较差的物体时,会在该环境中形成较暗的区域

    • 示意图

  • 阴影特征

    • 亮度特征是阴影检测中最显著、最常用的特征,亮度一般指的是图像的明亮程度,可以反映出物体表面反射光的强弱
    • 一副图像中的颜色由色度和明度两个元素构成,其中色度包含色调和饱和度,明度是光进入人眼感觉到的明亮程度;色调表示的是颜色的类别,如蓝色、绿色、黄色等,饱和度表示的是颜色的纯度和深浅程度
    • 纹理是由纹理基元按照一定的规律排列形成的,纹理的粗细程度与纹理基元尺寸大小相关,纹理基元尺寸越大,物体表面纹理越粗糙

阴影检测实现

  • 图像预处理

    • 采用加权中值滤波算法对图像进行预处理,核心思想是将窗口内的每个像素都乘以一个对应权值,将得到数的中值代替该窗口中心点的值

    • 基于区域实现静态阴影检测的方法中,首先使用Mean Shift 算法对图像进行分割,然后进行后续检测工作

  • 区域对信息获取

    • 将分割后的图像区域与临近区域配对通过对比该区域与临近区域的差别能够很好地判断阴影与非阴影
    • 选取合适的训练样本,提取亮度特征、颜色特征、纹理特征、梯度方向特征输入随机森林分类器得到区域对信息
  • 阴影区域确定

    • 获得区域对信息后,对于临近的属于同种材质的阴影与非阴影区域对,可以通过亮度与颜色特征确定阴影区域
    • 判断阴影区域与其临近区域的材质是否相同,材质可通过临近区域纹理特征与梯度方向特征确

实验结果

  • 实验结果图