checkpoint中文安装说明下载

weixin_39821260 2019-10-22 04:30:15

checkpoint的中文安装说明，内容比较详细适合没有接触过checkpoint的初学者
相关下载链接：//download.csdn.net/download/hanxu22967/1623309?utm_source=bbsseo

...全文

44 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

checkpoint的中文安装说明，内容比较详细适合没有接触过checkpoint的初学者

1.项目代码均经过功能验证ok，确保稳定可靠运行。欢迎下载体验！下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业，包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间，不仅可作为入门进阶，也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中，如有问题或建议，请及时沟通。 5.期待你能在项目中找到乐趣和灵感，也欢迎你的分享和反馈！【资源说明】基于TensorFlow框架+可配置词典的中文分词网络模型Python实现源码+项目运行说明+数据.zip 基于可配置词典的lstm切词。将最大前向匹配的结果作为模型输入的一部分，达到动态干预模型结果的效果，实时加入新词 # 运行 1. 环境tensorflow2.0 python3.6；除此之外还有一些python包：numpy, collections 2. 直接运行run.sh即可开始训练 3. 超参在lstm.conf中修改，通过tensorboard --logdir ./tf.log/ --bind_all查看训练过程 4. 如果bert预训练模型下载缓慢，可以自行从其他地方下载，bert模型下载好后，运行controller.py即可 ``` python controller.py train #训练 python controller.py predict #测试 ``` # 配置项说明 1. 配置文件：lstm.conf 2. + hidden_size: lstm层的维度 + max_seq_len: 最大句子长度 + learning_rate: 学习率 + bert_vocab: bert的词(字)库 + pre_train_model: bert预训练的checkpoint + vocab_size: 字库的大小 + train_file: 训练数据文件路径 + dev_file: 验证集文件路径 + test_file: 测试集文件路径 # 数据用的是微软亚洲研究院的公开数据集，读者可自行下载更多的数据集样例： ``` 城市大了，我们的活也就多了重了，可这点儿辛苦真算不得什么。 ” 从小苦惯了，闲下来就会浑身不舒服。 ” 凭自己的技术，总能找到活干，而且能让人满意。 ” 她跟等候着的求职者一一打招呼： “ 你们去找旁边的老师登记好吗？就业的天地很广，不要在一棵树上吊死，至少先解决温饱再说。 ” 那你等一等，我再帮你调调资料看。 ” 这是花，是树桩，哪得是干柴嘛！ ” ``` # 模型效果新词配置后能很好地识别

1.Spark Streaming：缓存与持久化机制 2.Spark Streaming：Checkpoint机制 3.Spark Streaming：部署、升级和监控应用程序 4.Spark Streaming：容错机制以及事务语义详解

<项目介绍> --checkpoint：模型和配置保存位置 --model_hub：预训练模型 ----chinese-bert-wwm-ext: --------vocab.txt --------pytorch_model.bin --------config.json --data：存放数据 ----dgre --------ori_data：原始的数据 - - 不懂运行，下载完可以私聊问，可远程教学该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------

【资源说明】基于BERT-BILSTM-CRF进行中文命名实体识别python源码+项目使用说明+数据+模型.zip 依赖 ```python scikit-learn==1.1.3 scipy==1.10.1 seqeval==1.2.2 transformers==4.27.4 pytorch-crf==0.7.2 ``` # 目录结构 ```python --checkpoint：模型和配置保存位置 --model_hub：预训练模型 ----chinese-bert-wwm-ext: --------vocab.txt --------pytorch_model.bin --------config.json --data：存放数据 ----dgre --------ori_data：原始的数据 --------ner_data：处理之后的数据 ------------labels.txt：标签 ------------train.txt：训练数据 ------------dev.txt：测试数据 --config.py：配置 --model.py：模型 --process.py：处理ori数据得到ner数据 --predict.py：加载训练好的模型进行预测 --main.py：训练和测试 ``` # 说明这里以dgre数据为例，其余数据类似。 ```python 1、去https://huggingface.co/hfl/chinese-bert-wwm-ext/tree/main下载相关文件到chinese-bert-wwm-ext下。 2、在process.py里面定义将ori_data里面的数据处理得到ner_data下的数据，ner_data下数据样本是这样的： --labels.txt 故障设备故障原因 --train.txt/dev.txt {"id": "AT0001", "text": ["6", "2", "号", "汽", "车", "故", "障", "报", "告", "综", "合", "情", "况", ":", "故", "障", "现", "象", ":", "加", "速", "后", "，", "丢", "开", "油", "门", "，", "发", "动", "机", "熄", "火", "。"], "labels": ["O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "O", "B-故障设备", "I-故障设备", "I-故障设备", "B-故障原因", "I-故障原因", "O"]} 一行一条样本，格式为BIO。 3、在config.py里面定义一些参数，比如： --max_seq_len：句子最大长度，GPU显存不够则调小。 --epochs：训练的epoch数 --train_batch_size：训练的batchsize大小，GPU显存不够则调小。 --dev_batch_size：验证的batchsize大小，GPU显存不够则调小。 --save_step：多少step保存模型其余的可保持不变。 4、在main.py里面修改data_name为数据集名称。需要注意的是名称和data下的数据集名称保持一致。最后运行：python main.py 5、在predict.py修改data_name并加入预测数据，最后运行：python predict.py ``` 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。欢迎下载，沟通交流，互相学习，共同进步！

下载资源悬赏专区

12,887

社区成员

12,439,214

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章