社区首页
152 
加入 3
进入社区查看精彩内容
加入 37
#微软推出1350亿参数的大规模稀疏模型MEB#（Make Every feature Binary），以提高Microsoft客户使用大规模AI的的搜索相关性。为了使搜索更加准确和动态，MEB更好地利用了大数据的力量，允许输入特征空间，具有超过 2000 亿个二进制特征反映了搜索查询和文档之间的微妙关系。它对Transformer模型来说是个有益的补充。链接：https://www.microsoft.com/en-us/research/blog/make-every-feature-binary-a-135b-parameter-sparse-neural-network-for-massively-improved-search-relevance/
#用于目标检测的新型无监督预训练方法# 自监督预训练在#计算机视觉#中的应用，尤其在目标检测中很有用。然而，以前的方法在设计时并没有考虑到定位，这在检测物体等任务时成为一个关键问题。#UC伯克利#等机构的AI研究人员开发了#DETReg#，一种用于目标检测的新型无监督预训练方法。DETReg通过提供两个关键的预训练任务来训练具有未标记数据的检测器：目标定位任务和目标嵌入任务。第一个任务旨在教模型如何检测目标，而不管其类型如何，而后者旨在理解图像中的类别。由于最近用于对象检测的transformers很简单，因此选择这项研究以将其方法基于可变形的DETR架构，这简化了实施和训练环节。论文：https://arxiv.org/pdf/2106.04550.pdf；代码：github.com/amirbar/DETReg
加入 12
进入社区查看精彩内容
加入 500
加入 130
