论文阅读笔记:Fully Convolutional Networks for Semantic Segmentation

时间:2015-07-14 20:27:00   收藏:0   阅读:21480

这是CVPR 2015拿到best paper候选的论文。

论文下载地址:Fully Convolutional Networks for Semantic Segmentation

尊重原创,转载请注明:http://blog.csdn.net/tangwei2014


1.概览&主要贡献

提出了一种end-to-end的做semantic segmentation的方法,简称FCN

如下图所示,直接拿segmentation 的 ground truth作为监督信息,训练一个端到端的网络,让网络做pixelwise的prediction,直接预测label map。

技术分享



2.问题&解决办法

1)如何做pixelwise的prediction?

传统的网络是subsampling的,对应的输出尺寸会降低,要想做pixelwise prediction,必须保证输出尺寸。

解决办法:

(1)对传统网络如AlexNet,VGG等的最后全连接层变成卷积层。

技术分享

例如VGG16中第一个全连接层是25088x4096的,将之解释为512x7x7x4096的卷积核,则如果在一个更大的输入图像上进行卷积操作(上图的下半部分),原来输出4096维feature的节点处(上图的上半部分),就会输出一个coarse feature map。

这样做的好处是,能够很好的利用已经训练好的supervised pre-training的网络,不用像已有的方法那样,从头到尾训练,只需要fine-tuning即可,训练efficient。

(2)加 In-network upsampling layer。

对中间得到的feature map做bilinear上采样,就是反卷积层。实现把conv的前传和反传过程对调一下即可。

2)如何refine,得到更好的结果?

upsampling中步长是32,输入为3x500x500的时候,输出是544x544,边缘很不好。

解决办法:

技术分享

采用skip layer的方法,在浅层处减小upsampling的步长,得到多个label map prediction,然后做融合。


3.结果

当然是state-of-the-art的了。感受一下:

技术分享

技术分享

版权声明:本文为博主原创文章,未经博主允许不得转载。

评论(1
会飞的小象 2016-09-29 21:17:24
您好,能解释下mean acc.  mean IU f.w.IU 分别是啥意思吗?刚学习这一块,谢谢
1
© 2014 mamicode.com 版权所有 京ICP备13008772号-2  联系我们:gaon5@hotmail.com
迷上了代码!