Py实训15-编码解码

2019300908-邱晓宇 2022夏-程序设计实训 2022-08-03 17:38:54

效果如下：

...全文

174 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载体验！下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！【资源说明】基于pytorch的one vs rest中文命名实体识别python源码+使用说明+模型+数据集.zip 这里的one vs rest是指进行实体识别时，每次只识别出其中的一类，因此这里针对于每一类都有一个条件随机场计算损失，最终的损失是将每一类的损失都进行相加。这样做可以解决一个实体可能属于不同的类型问题。同时需要注意的是在解码的时候没有使用维特比解码，而是直接用np.argmax进行选择。这有点类似于基于机器阅读理解的实体识别，只不过这里没有提供问题，而且对于所有的类别只需要编码一次。这里是以程序中的cner数据为例，其余两个数据集需要自己按照模板进行修改尝试，数据地址参考：[基于bert_bilstm_crf中文命名实体识别 ](pytorch_bert_bilstm_crf_ner)。如何修改： - 1、在raw_data下是原始数据，新建一个process.py处理数据得到mid_data下的数据。 - 2、运行preprocess_mc.py，得到final_data下的数据。具体相关的数据格式可以参考cner。 - 3、运行指令进行训练、验证和测试。数据及训练好的模型下载：链接：https://pan.baidu.com/s/1sJsat-bksQH8PCBVZQOHKA?pwd=6udv 提取码：6udv # 依赖 ``` pytorch==1.6.0 tensorboasX seqeval pytorch-crf==0.7.2 transformers==4.4.0 ``` # 运行 ```python !python main.py \ --bert_dir="model_hub/chinese-bert-wwm-ext/" \ --data_dir="./data/cner/" \ --log_dir="./logs/" \ --output_dir="./checkpoints/" \ --num_tags=8 \ --seed=123 \ --gpu_ids="0" \ --max_seq_len=150 \ --lr=3e-5 \ --crf_lr=3e-2 \ --other_lr=3e-4 \ --train_batch_size=32 \ --train_epochs=10 \ --eval_batch_size=16 \ --max_grad_norm=1 \ --warmup_proportion=0.1 \ --adam_epsilon=1e-8 \ --weight_decay=0.01 \ --dropout_prob=0.3 \ --dropout=0.3 \ ``` ### 结果基于bert_crf： ```python precision:0.9113 recall:0.8919 micro_f1:0.9015 precision recall f1-score support RACE 0.88 1.00 0.94 15 LOC 0.00 0.00 0.00 2 CONT 1.00 1.00 1.00 33 EDU 0.87 0.97 0.92 109 PRO 0.86 0.95 0.90 19 NAME 0.99 1.00 1.00 110 ORG 0.90 0.89 0.90 543 TITLE 0.91 0.86 0.88 770 micro-f1 0.91 0.89 0.90 1601 虞兔良先生：1963年12月出生，汉族，中国国籍，无境外永久居留权

知识驱动对话2019-lic 2019语言与智能技术竞赛B榜第5名方案由于线上部署对时间有要求，最终提交人工评估的版本删除了一些主题特征，导致模型结果有所下降，最终人工评估第9名。A榜第四B榜第五概述为了建立主动对话聊天机器人，我们使用了所谓的世代重排方法。首先，生成模型（Multi-Seq2Seq）产生一些候选答案。接下来，重新排序模型负责执行查询-答案匹配，以针对所产生的候选者尽可能多地选择答复。现在可以通过详细的描述我们的解决方案的论文，请检查。数据扩充我们使用了四种数据增强技术：实体泛化，知识选择，切换，对话提取来构建用于训练Seq2Seq模型的多个不同数据集。可以使用脚本Seq2Seq / preclean _ *。py稍加修改参数即可获得6个数据集。 Seq2Seq模型为了整体目的，我们选择不同的编码器和解码器，即LSTM单元和Transformer。这部

山东大学暑期实训-饮食健康管理系统设计与实现（八）关于上一个爬虫的结果以及分析爬虫结果分析关于上一个爬虫的结果以及分析爬虫结果我们共需要爬取200个用户对应的1895个食谱的信息。其中发现有一个id为691的用户在美食天下上没有办法查到，因此当作异常数据处理掉了。最后我们成功爬取了1895个食谱的图片，这些图片统一存放在文件夹pic200中，命名格式为它们的id+‘.jpg’，最后我们得到了1895个图片。如下图：此外还有一张食谱对应的食谱名字和食材信息表，如下图所示：第一列为食谱id，第

1. Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档）设置扫描的速度一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 ...

1. Nmap的基本 Nmap + ip 6+ ip Nmap -A 开启操作系统识别和版本识别功能 – T（0-6档）设置扫描的速度一般设置T4 过快容易被发现 -v 显示信息的级别，-vv显示更详细的信息 192.168.1.1/24 扫描C段 192.168.11 -254 =上 nmap -A -T4 -v -iL ~/targets.txt (iL表示要扫描的目标位于一个文档中) --------------- 192.168.1.1/24 ...

西工大网安实践教学社区

34

社区成员

195

社区内容

发帖

与我相关

我的任务

python安全linux 高校

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章