VQA是如何定义的？

窗窗窗窗户 2021-06-25 11:44:47

VQA是如何定义的？

...全文

2248 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-07-01

打赏
举报

回复

给定一张图像和一个相关文字问题,从若干候选文字回答中选出正确答案. 常用策略是CNN提取图像特征,RNN提取文本特征,将图像特征和文本特征进行融合,然后通过全连接层进行分类.关键在于如何融合这两个模态.

基于Tensorflow的视觉问答系统VQA

视觉问题回答项目，具有最先进的单一模型性能

VQA_Experiment

irlc-vqa 用于ICLR 2018再现性挑战的的可解释代码。关于本文改进了VQA中基于问题的计数的最新准确性。他们通过强制执行先验，即每个计数对应于图像中定义良好的区域，并且不会在整个区域上扩散。他们通过将图像与问题信息融合在一起，对图像中的一组固定候选区域（来自预先训练的Faster-R-CNN网络）进行硬参与。他们使用REINFORCE的一种变体-自我批判训练-非常适合生成序列。我发现这篇论文很有趣。由于找不到本文的任何公开可用的实现，因此我决定将其作为一种自我实现来实现。结果（不带字幕接地）软计数模型测试精度测试RMSE 训练时间已报告 49.2 2.45 未知这个实现 49.7 2.31 〜12分钟（Nvidia-1080 Ti）红外光谱仪模型测试精度测试RMSE 训练时间已报告 56.1 2.45 未知这个实现 5

[2016].Visual Question Answering.（综述：数据、评价、算法）.v41

Qualcomm 开发者论坛

2,536

社区成员

5,685

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章