SegStereo: Exploiting Semantic Information for Disparity Estimation下载

weixin_39821620 2020-07-02 08:31:18

Disparity estimation for binocular stereo images ﬁnds a wide range of applications. Traditional algorithms may fail on featureless regions, which could be handled by high-level clues such as semantic segments. In this paper, we suggest that appropriate incorporation of semantic cues can greatly rect
相关下载链接：//download.csdn.net/download/qq_35269813/11112190?utm_source=bbsseo

...全文

60 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Disparity estimation for binocular stereo images ﬁnds a wide range of applications. Traditional algorithms may fail on featureless regions, which could be handled by high-level clues such as semantic segments. In this paper, we suggest that appropriate incorporation of semantic cues can greatly rectify prediction in commonly-used disparity estimation frameworks. Our method conducts semantic feature embedding and regularizes semantic cues as the loss term to improve learning disparity. Our uniﬁed model SegStereo employs semantic features from segmentation and introduces semantic softmax loss, which helps improve the prediction accuracy of disparity maps. The semantic cues work well in both unsupervised and supervised manners. SegStereo achieves stateof-the-art results on KITTI Stereo benchmark and produces decent prediction on both CityScapes and FlyingThings3D datasets.

总结SegStereo

1 Introduction 我们的SegStereo （嵌入语义线索的立体）模型有利于无监督和有监督的训练。在无监督训练中，光度一致性损失和语义软最大值损失都被计算并向后传播。语义特征嵌入和语义softmax损失都可以引入语义一致性的有利约束。在KITTI立体数据集上评估的结果证明了我们策略的有效性。我们还将无监督模型应用于 CityScapes 数据集。它产生了比经典SGM方法更好的性能。对于有监督的训练方案，我们采用有监督的回归损失代替无监督的光度一致性损失来训练模型，这在KITTI Stereo基准

0.摘要双目立体图像的深度估计具有很广泛的应用前景。传统算法在特征不明显的区域表现较差，这一问题可以利用高层次的信息来解决，例如语义分割。在这篇文章中，我们发现将语义信息结合起来能够有效的改善视差估计结果。我们的将语义特征嵌入特征图中，并将规则化的语义信息作为损失项来改善视差学习效果。我们的模型SegStereo使用了分割后的语义信息，并引入了语义Softmax损失，这有助于提高视差图的预...

下载资源悬赏专区

13,654

社区成员

12,572,689

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章