日寇阻止中俄石油管道项目的真正目的

AIWUYAN 2003-10-09 10:30:24
http://news.sina.com.cn/c/2003-10-09/03381880435.shtml
...全文
82 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
CSwain 2003-10-10
  • 打赏
  • 举报
回复
up
1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载体验!下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈! 【资源说明】 基于LoRA对ChatGLM进行微调实验python源码+训练好的模型+项目说明.zip 使用LoRA对ChatGLM进行微调。整体的结构非常简单,构造好相应格式的数据后就可以开始训练。 训练好的实体识别LoRA权重已经位于checkpoint下。 # 依赖 linux操作系统为Ubantu,GPU为A40-48G显存。 ```python mpi4py transformers==4.28.1 peft==0.3.0 icetk deepspeed==0.9.2 accelerate cpm_kernels sentencepiece==0.1.99 peft=0.3.0 torch=2.0.0 ``` # 说明 ## 目录结构 ```python --checkpoint:保存模型 ----msra:数据集名称 --------train_deepspeed ------------adapter_model ----------------adapter_config.json ----------------adapter_model.bin ----------------train_args.json --------train_trainer ------------adapter_model ----------------adapter_config.json ----------------adapter_model.bin ----------------train_args.json --model_hub:预训练模型 ----chatglm-6b:预训练模型位置 --data:数据 ----msra:数据集名称 --------instruct_data:指令数据 ------------dev.txt ------------train.txt --------ori_data:原始数据 --chat_ner.py:闲聊 --train_deepspeed.py:使用原生deepspeed训练 --train_trainer.py: 使用transformers的Trainer进行训练 --test.py:测试训练好的模型 --predict.py:预测 --test_chatglm_6b.py:测试原始的chatglm-6b --process.py:处理数据为instruct_data --dataset.py:加载数据为相应的格式 --deepspeed.json:deepspeed配置文件,用于trasnformers的Trainer --config_utils.py:用于用字典定义配置,并接收命令行参数 ``` chatglm-6b下面数据是这样,除权重外已经放在model_hub/chatglm-6b下: 数据格式 这里我们以命名实体识别任务为例,数据在data/msra下,其中ori_data为原始数据,instruct_data为处理后的数据,数据格式为一条一个样本,具体是: ```python {"instruct": "你现在是一个实体识别模型,你需要提取文本里面的人名、地名、机构名,如果存在结果,返回'实体_实体类型',不同实体间用\n分隔。如果没有结果,回答'没有'。", "query": "文本:因有关日寇在京掠夺文物详情,藏界较为重视,也是我们收藏北京史料中的要件之一。", "answer": "日_地名\n京_地名\n北京_地名"} ``` 可以按照自己的任务自行构建。

590

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧