基于改进关系网络的小样本学习
论文名称:《基于改进关系网络的小样本学习》
论文作者:王年
毕业院校:安徽大学
小样本学习
- 小样本学习是元学习的一个应用领域,元学习就是通过概括、分析、学习已有类别信息,去实现未知类别的分类.针对小样本问题,一般分为3个数据集:训练集、验证集和测试集
- 关系网络是一种端到端的结构.嵌入模型用来提取输入样本的抽象特征,由4个卷积层和两个最大池化层构成,每个卷积层包含卷积核尺寸为3*3
- 每类提取的对照样本特征按通道级联在一起,输入关系模型.关系模型由两个卷积层和两个全连接层组成,最后输出对照样本和查询样本的相似性得分,即关系得分
- 与传统固定度量方式如欧式度量、余弦度量等不同,关系网络的创新点之一是通过网络 训练得到 一个高效的非线性距离度量
改进关系网络
- 用一个inception块替换原嵌入模型的第3个卷积层
- 直接采用最大或平均池化来降低特征图的大小,可能会带来特征表达方面的问题
- 3条分支得到的不同特征图拼接在一起,可提高嵌入模型的特征表达能力
- 感受野的大小与视网膜脑图偏心率成函数关系.感受野块是一种类似于inception块的结构
- 不同大小卷积核与感受野尺寸相对应,并利用膨胀卷积的膨胀率来控制偏心率
- 利用RF的尺寸和偏心率的关系,可增强特征的可分性和鲁棒性
inception块
- 分支1中的1*1的卷积层起到了降低通道数的作用,后面的两个3*3的卷积层可以获得更加抽象的语义特征
- 分支2采用常规3*3大小、步长为2的卷积层
- 分支3是一个最大池化层,用来保留更多的纹理信息
- 关系模型的第一个卷积层前加入感受野块,提升关系模型的度量能力.模型采用均方差损失函数和 adam优化器
实验结果
-
实验结果图