- C++学习笔记之类模板
定义一个矩形类模板 该模板中含有计算矩形面积和周长的成员函数 数据成员为矩形的长和宽。 代码： #include using namespace std; /** * 定义一个矩形类模板Rect * 成员函数：calcArea()、calePerimeter() ...pu
- Pandas中两个dataframe的交集和差集
创建测试数据： import pandas as pd import numpy as np #Create a DataFrame df1 = { 'Subject':['semester1','semester2','semester3','semester4','semester1', 'semester2','semester3'], ...
- 使用BERT对句子进行向量化(TensorFlow版和Pytorch版)
背景 用BERT对句子进行向量化 实施 TensorFlow版直接用肖涵博士的bert-as-service。使用方法真的很小白，简单概括为2点：server和client安装。 pip install bert-serving-server # server pip install bert-serving-...
- docker拉取的pytorch-gpu版找不到cuda和cudnn的位置，为何？
问题描述 pytorch 镜像位置： ...拉取镜像： docker pull pytorch/pytorch:1.5-cuda10.1-cudnn7-runtime 查看本地现有镜像清单： 创建一个容器： docker run --gpus all -td --name=liujiepeng_pytorch pytorch/...
- ACL2020 | SongNet(格式可控的文本生成)
背景 题目： Rigid Formats Controlled Text Generation 机构： Tencent AI Lab 作者： Piji Li、Haisong Zhang、Xiaojiang Liu、Shuming Shi 论文地址： ...收录会议： ...基于神经网络的文本生成在各种任务中取得了巨大...
- ICML 2020论文笔记：地表最强文本摘要生成模型PEGASUS(天马)
这里写自定义目录标题背景摘要介绍模型预训练目标GSG预训练语料和下游任务实验结果消融研究Larger模型效果处理低资源数据集人工评测总结： Google发布天马-地表最强文本摘要生成模型,打败人类，我只要1000个样本) ...
- 模型推理加速系列|如何用ONNX加速BERT特征抽取(附代码)
简介 近期从事模型推理加速相关项目，所以抽空整理最近的学习经验。本次实验目的在于介绍如何使用ONNXRuntime加速BERT模型推理。实验中的任务是利用BERT抽取输入文本特征，至于BERT在下游任务(如文本分类、问答等)...
- pandas 两列数据合并
背景 有两个字段，想要将其合并成为一个新的字段。比如当标签分散在不同字段时候，想要将各个标签融合一起。 实现 def test(): import pdb import pandas as pd df = pd.DataFrame({'year': ['2019', '2020'], '...
- pandas列值根据字典批量替换
背景 一个数据中某一列的值需要根据某个字典批量映射为字典中的value。 方法1：pandas中的df.replace import pandas as pd import numpy as np df = pd.DataFrame({'col2': {0: 'a', 1: 2, 2: np.nan}, 'col1': {...
- 过滤掉list中被其他元素所包含的元素
背景 有一个list，其中的元素存在之间相互包含的关系，即元素A可能是原始B的子串。举个例子： 输入list a=['我是卖麻辣烫的小男孩', '小男孩', '麻辣烫', '华中科技大学','大学']，希望返回的结果是['我是卖麻辣烫的...
- 获取list中出现频数最多的元素
背景 给定一个列表，找到其中最高频的元素。 比如输入： [2, 1, 2, 2, 1, 3] 期望输出：2 再比如输入： ['华中科技大学', '韵苑', '沁苑', '韵苑'] 期望输出：韵苑 ... def most_frequent(lst): ...
- EMNLP 2020 | Facebook稠密向量召回方案
0. 背景 机构： Facebook AI、华盛顿大学、普林斯顿大学 作者： Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih 论文地址： ...
- pandas中2个nan值为何不同
背景 判断两个 nan 值是否相等。 import numpy as np a=np.nan b=np.nan if a == b: print("Same") else: print("Not Same") if a is b: ...所以不能直接用bool表达式去判断numpy.nan，其结果都是True。...
- ACL2020论文阅读笔记：BART
背景 题目： BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 机构：Facebook AI 作者：Mike Lewis, Yinhan Liu, Naman Goyal, Marjan ...
- 获取list中Top K个值对应的索引
背景 在得到概率分布的list之后，想要得到 Top K个概率值及其索引，因为索引对应着label id。 方法 import numpy as np p = [0.07, 0.2, 0.1, 0.03, 0.1, 0.5] topk = 2 print("方法1：") index_list = sorted...
- 根据子字符列表过滤掉给定列表
背景 给定两个字符串列表string_list和substr_list，筛选出string_list中包含substr_list中元素的所有字符串。 示例： Input : string_list= ['city1', 'class5', 'room2', 'city2'] substr_list= ['class', 'city'...
- 给定值查找在list中的近邻值
背景 给定一个有序list 和 目标value，如果将该目标value值插入list中，那么索引位置是多少。举例说明： a_list=[0, 2, 4, 6, 7, 9, 11, 12, 13, 14, 18, 19, 21]，给定value=8，那么此时8位于 a_list中的7和9之间，...
- 模型推理加速系列|如何用ONNX加速BERT特征抽取-part2(附代码)
背景 本文紧接之前的一篇文章如何用ONNX加速BERT特征抽取，继续介绍如何用ONNX+ONNXRuntime来加速BERT模型推理。如果看过之前的那篇文章如何用ONNX加速BERT特征抽取的童鞋估计还记得文中留了一个疑问：为何优化过的...
- 按照len长度过滤pandas中值为list类型的数据
背景 pandas中对于值为list的数据，如果想要根据list的长度进行过滤，如何操作？ 方案 假设数据集： a b c 1 x y [x] 2 x z [c,d] 3 x t [e,f,g] ...想要实现result_df = df[len(df['result'])>...
- NeurIPS 2020 | MiniLM：通用预训练模型压缩方法
摘要 这里尝试通过一问一答的方式来简介MiniLM。 Q： 这篇文章要解决什么问题？ A：预训练模型的低效问题。预训练模型过大的话，有2个弊端：(1)推理速度慢(2)内存空间占用大。 Q： 文章如何解决上述问题？...
- ICLR2020论文阅读笔记reformer: THE EFFICIENT TRANSFORMER
0. 背景 机构：Google Research 、U.C. Berkeley 作者：Nikita Kitaev、Łukasz Kaiser、Anselm Levskaya ...收录会议：ICLR2020 ...0.1 摘要 基于Transformer的各种巨型模型在各种自然语言处理任务中常常能够取得最优结
- ACL2020论文阅读笔记-FastBERT: a Self-distilling BERT with Adaptive Inference Time
0. 背景 题目： FastBERT: a Self-distilling BERT with Adaptive Inference Time 机构：北大、腾讯、北师大 作者：Weijie Liu, Peng Zhou, Zhe Zhao, Zhiruo Wang, Haotang Deng, Qi Ju ...收录会议：ACL2020 ...
- Google新作synthesizer：Rethinking Self-Attention in Transformer Models
0. 背景 机构：Google Research 作者：Yi Tay, Dara Bahri, Donald Metzler, Da-Cheng Juan, Zhe Zhao, Che Zheng ...0.1 摘要 以当下基于Transformer的各种先进模型来看，使用点积自注意力（dot product self-...
- 文献阅读笔记electra: pre-training text encoders as discriminators rather than generators
目录0. 背景0.1 摘要1. 介绍2. 方法3. 实验3.1 实验设置3.2 模型拓展3.3 Small版模型3.4 Large版模型3.5 有效性分析4....0. 背景 机构：斯坦福、Google Brain 作者：Kevin Clark、Minh-Thang Luong、Quoc V....
- GitHub创建仓库和删除仓库
创建仓库 1、在官网里面新建GitHub仓库【两种方式】如图： 2、必须写Repository name(仓库名称)，Description(描述 )可以不写也可以写，勾选Initialize this repository with a README(使用自述文件初始化此存储...
- github删除repository仓库（2种方式）
方式一：删除自己仓库的 1.选中项目 2.点setting 3. 点Delete this repository 4.输入要删除的项目名大功告成 方式二：不是自己仓库的删除方式 1.右侧头像点击Settings ...2.选择左侧Repositories ......
- javaScript练习1
背景：制作新按钮，“新窗口打开网站” ，点击打开新窗口。 任务 1、新窗口打开时弹出确认框，是否打开 提示: 使用 if 判断确认框... ...3、打开的窗口要求，宽400像素，高500像素，无菜单栏、无工具栏。代码：<!...<htm
- 第4门课程-卷积神经网络-第二周作业2(基于残差网络的手势分类)
0- 背景 本文介绍基于残差网络的深层卷积神经网络，Residual Networks(ResNets)。 从理论上分析，神经网络层数越多，可以表示更复杂的模型函数。CNN能够提取low/mid/high-level的特征，网络的层数越多，意味着能够...
- ubantu下gcc编译器的安装、vim安装以及第一个helloworld的测试
1：gcc编译器的安装 查阅了网上的sudo apt-get build-depgcc 但是发现上述命令是无效的，运行结果如下图所示。 ...故采用以下命令进行gcc编译器的安装： ...sudo apt-get install build-essential ...
- 文献阅读笔记:RoBERTa：A Robustly Optimized BERT Pretraining Approach
0. 背景 机构：Facebook & 华盛顿大学 作者：Yinhan Liu 、Myle Ott 发布地方：arxiv 论文地址：...1. 介绍 RoBERTa 模型是BERT 的改进版(从其名字来看，A Robustly Optimized BE...