UPT (Unified Prompt Tuning) few-shot 文本分类Towards Unified Prompt Tuning for Few-shot Text Classification

使用预训练好的 DALLE 模型进行 Text-to-Image 生成图像

多模态对话论文 Multimodal Dialogue Response Generation，收录于 ACL 2022

CCL2022自然语言处理国际前沿动态综述 之 开放域对话生成前沿综述，由哈尔滨工业大学计算学部、社会计算与信息检索研究中心的张伟男老师汇报。

论文 Two-Stream Convolutional Networks for Action Recognition in Videos 讲解，收录于 2014 年的 NIPS (NeurIPS)，是在视频领域中应用深度学习的开山之作。

多模态论文 VideoBERT: A Joint Model for Video and Language Representation Learning 讲解

ViLT: Vision-and-Language Transformer Without Convolution or Region Supervision论文讲解

多模态模型 CLIP 讲解，对应论文 Learning Transferable Visual Models From Natural Language Supervision。CLIP 的方法很简单，但效果却意外的好。CLIP 的迁移能力是非常强的，预训练好的模型能够在任意一个视觉分类的数据集上取得不错的效果，而且最重要的是它是 zero-shot 的，即完全没有在这些数据集上做训练就能得到这么高的性能。

对当前 对话系统 的发展进行总结 并 重点对开放型对话技术进行梳理。

VL (Vision and Language) 任务简介及相关数据集

NNLM、RNNLM、Attention语言模型 language model下一单词预测 next-word prediction

目录模型架构预训练步骤MLM(Mask Language Model)NSP下游任务微调BERT如何提升BERT下游任务表现模型架构BERT的基础transformer结构（encoder部分）：输入部分：对于transformer来说，输入部分会进行两个操作，包括Input Embedding和Positional Encoding两部分。Input Embedding就是将输入转为词向量，可以是随机初始化，也可以是使用word2vec。Positional Encoding就是位置编码，用

词向量、Word embedding、语言模型训练（Language Model Training）、CBOW(Continuous Bag of Words)、Skipgram、Negative Sampling(负采样)、Skipgram with Negative Sampling (SGNS)、Word2vec训练过程

文章目录0. 前言1. 背景2. 现状分析3. 任务&结论（简介）4. 整体框架5. 流程6. 模型Embedding层Transformer Encoder层MLP Head7. 部分实验数据集模型变体Position Embedding消融实验相关文献及下载地址0. 前言论文名称：An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale论文网址：https://arxiv.org/abs/2010.

Faster R-CNN原论文地址：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksFaster R-CNN合集：【目标检测】R-CNN【目标检测】Fast R-CNN【目标检测】Faster R-CNN由于SS算法的时间花销大，因此Faster R-CNN就是在Fast R-CNN的基础上改进得到候选框的方法，即使用RPN算法替代SS算法。算法流程将图像输入网络得到相应的特征图

Fast R-CNN原论文地址：Fast R-CNNFaster R-CNN合集：【目标检测】R-CNN【目标检测】Fast R-CNN算法流程一张图像生成1K~2K个候选区域（使用Selective Search方法）将图像输入网络得到相应的特征图，将SS(Selective Search)算法生成的候选框投影到特征图上获得相应的特征矩阵将每个特征矩阵通过ROI pooling层缩放到7x7大小的特征图，接着将特征图展平通过一系列全连接层得到预测结果（ROI：Region of I

R-CNN算法流程：一张图像生成 1k~2k 个候选区域（使用Selective Search方法）对每一个候选区域，使用深度网络提取特征特征送入每一类的SVM分类器，判别是否属于该类使用回归器精细修正候选框位置...

PostKS(Posterior-Knowledge-Selection)模型

Learning to Select Knowledge for Response Generation in Dialog Systems PostKS(Posterior Knowledge Selection)模型后验知识模型