社区
脚本语言
帖子详情
Python 如何实现近义词匹配
Zephon_H
2019-01-19 05:18:42
做一个问题提取模块,要求是用户提出一个问题,提取问题中的关键词后,在词库中寻找与该问题关键词最匹配的词语,请问怎样实现这种近义词的匹配呢?
例如:用户输入:自动驾驶的工作原理是什么? 提取的关键词是自动驾驶 然后如何实现在词库中找到与其最匹配的近义词?(人工智能)
...全文
1079
1
打赏
收藏
Python 如何实现近义词匹配
做一个问题提取模块,要求是用户提出一个问题,提取问题中的关键词后,在词库中寻找与该问题关键词最匹配的词语,请问怎样实现这种近义词的匹配呢? 例如:用户输入:自动驾驶的工作原理是什么? 提取的关键词是自动驾驶 然后如何实现在词库中找到与其最匹配的近义词?(人工智能)
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
tianfang
2019-01-23
打赏
举报
回复
试试Synonyms https://github.com/huyingxi/Synonyms 需要自己做缓存,全库比较开销很大的
课程设计基于统计学方法对古诗词进行词语级建模和关系挖掘
python
源码+实验报告.zip
【资源说明】 课程设计基于统计学方法对古诗词进行词语级建模和关系挖掘
python
源码+实验报告.zip 期中大作业报告 目录 环境搭建 项目结构 后端 前端 架构图 数据挖掘算法 词库提取
近义词
挖掘 词语聚类和主题挖掘 诗歌与词语的
匹配
度 基于影响力的诗歌离线排名 具体代码
实现
作业展示 数据挖掘示例:词表 数据挖掘示例:
近义词
数据挖掘示例:聚类和主题词 数据挖掘示例:诗歌
匹配
度 表一:只考虑
近义词
模型 表二:只考虑主题词模型 表三:综合考虑三方面因素 服务端示例:FastAPI 接口 前端示例 主页 搜索页 诗歌详情页 诗歌相似作品 诗人详情页 诗人作品 知识图谱 移动端页面 在线演示 环境搭建 后端开发环境为
Python
3.8.11,可在
Python
3.7 到 3.9 上运行。离线计算部分的依赖包见 backend/lab/requirements.txt ,在线服务部分的依赖包见 backend/server/requirements.txt 。 语料来自于 Github 项目chinese-poetry,出于压缩文件的原因,原始语料未包含在打包中。可以克隆 此项目,置于 backend/lab/chinese-poetry 文件夹中。 后端依赖于 neo4j 数据库以及 neo4j 的 gds 拓展。实际使用版本的是 neo4j 4.3.6 和 gds 1.7.2。 前端开发环境为 Node.js 16.5.0,需要的依赖包见 frontend/poem-tang/package.json 。在 frontend/poem-tang 文件夹内,使用 yarn install 可一键完成环境配置。 项目结构 项目结构如图: 后端 后端分为两部分:离线计算和在线服务。 离线计算负责对数据集进行清洗和分析,从古诗中提取词库,挖掘词语之间的
近义词
关系,评价词语和 古诗的
匹配
度,对古诗进行排名,并将结果写入 neo4j 数据库中。这一部分运行在开发环境中,不在服 务器上运行。代码见 backend/lab/process.ipynb 。 在线服务运行在服务器上,负责从数据库中读取数据,并对外提供 HTTP 接口。代码见 backend/server/ 文件夹。 前端 前端采用 React 开发,负责从服务端提供的接口中获取数据,并向用户展示。代码见 frontend/poemtang/ 文件夹。 ├── backend # 后端 │ ├── lab # 离线计算(关系挖掘,数据库写入) │ │ ├── data # 数据集 │ │ │ └ . │ │ ├── process.ipynb │ │ └── requirements.txt │ └── server # 在线服务(读取数据库,提供接口) │ ├── _ _ init_ _ .py │ ├── graph.py │ ├── wds.txt │ └── requirements.txt └── frontend # 前端 └── poem- tang ├── src # React 页面及组件 │ ├──components │ │ └ . │ ├──scripts │ │ └ . │ ├──App.js │ └── . ├── public │ └ . ├──package.json └── . 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以
实现
其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
课程设计-基于知识图谱的智能问答系统
python
源码(包含意图识别与类知识库送入LLM方法).zip
【资源说明】 课程设计-基于知识图谱的智能问答系统
python
源码(包含意图识别与类知识库送入LLM方法).zip py2neo疑似寄了,封装了一套自己用到的的Neo4j操作 实体识别直接AC自动机暴力,听说有库也懒得调了,直接和gpt一起手搓几十行解决,最后还要去掉名称有包含关系的实体,也是二重循环暴力了。也可以用结巴分词后再一一
匹配
,隔壁wenda的接口用的这个方法 意图识别调用torchtext自带的xmlroberta进行训练,本质文本分类,训练集为自编的智慧城市下的若干公共服务场景的用户问题,对实体和语气词进行预处理,使用EDA_NLP_for_Chinese进行数据增强。自己改了EDA源码,取消了
近义词
和插入,因为自己造数据集的时候已经搞得差不多了,而且实体预处理后的占位单词不能转变为
近义词
LLM使用RWKV,借鉴了wenda的prompt,对用户问题中找到的所有实体,查询其在知识图谱中的所有相关知识送入LLM prompt中,让LLM自己提取。在这种已知图谱形状,自己做了知识翻译的情况下,使用3B小模型跑fp16i8,就能达到很好的效果 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用! 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载使用,也适合小白学习进阶,当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行,也可在此代码基础上进行修改,以
实现
其他功能,也可直接用于毕设、课设、作业等。 欢迎下载,沟通交流,互相学习,共同进步!
NLP资源库.zip
数据描述 涉及内容包括但不限于:中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度
匹配
算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则
匹配
、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr:用来做中文OCR的
Python
3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(
Python
)库:知识图谱概念链接预测、Scattertext 文本可视化(
python
)、语言/知识表示工具:BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文
近义词
工具包、HarvestText领域自适应文本挖掘工具(新词发现-情感分析-实体链接等)、word2word:(
Python
)方便易用的多语言词-词对集:62种语言/3,564个多语言对、语音识别语料生成工具:从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型(包含词典和语料标注)、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投资数据提取工具、文本自动摘要库TextTeaser: 仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试–功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型
实现
的根据Hacker News文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank:NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA语言模型分析,提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA:面向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档 PDF 或者 PPT、自然语言生成SQL语句(英文)、中文NLP数据增强(EDA)工具、英文NLP数据增强工具 、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱:基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr: 中文语音识别-提供预训练模型-高识别率、
Python
音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab:开源多域端到端对话系统平台、中文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于
几乎最全的中文NLP资源库.zip
涉及内容包括但不限于:中英文敏感词、语言检测、中外手机/电话归属地/运营商查询、名字推断性别、手机号抽取、身份证抽取、邮箱抽取、中日文人名库、中文缩写库、拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换、英文模拟中文发音、汪峰歌词生成器、职业名称词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库、连续英文切割、各种中文词向量、公司名字大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库、中文聊天语料、中文谣言数据、百度中文问答数据集、句子相似度
匹配
算法集合、bert资源、文本生成&摘要相关工具、cocoNLP信息抽取工具、国内电话号码正则
匹配
、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLU太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料、cs224n深度学习自然语言处理课程、中文手写汉字识别、中文自然语言处理 语料/数据集、变量命名神器、分词语料库+代码、任务型对话英文数据集、ASR 语音数据集 + 基于深度学习的中文语音识别系统、笑声检测器、Microsoft多语言数字/单位/如日期时间识别包、中华新华字典数据库及api(包括常用歇后语、成语、词语和汉字)、文档图谱自动生成、SpaCy 中文模型、Common Voice语音识别数据集新版、神经网络关系抽取、基于bert的命名实体识别、关键词(Keyphrase)抽取包pke、基于医疗领域知识图谱的问答系统、基于依存句法与语义角色标注的事件三元组抽取、依存句法分析4万句高质量标注数据、cnocr:用来做中文OCR的
Python
3包、中文人物关系知识图谱项目、中文nlp竞赛项目及代码汇总、中文字符数据、speech-aligner: 从“人声语音”及其“语言文本”产生音素级别时间对齐标注的工具、AmpliGraph: 知识图谱表示学习(
Python
)库:知识图谱概念链接预测、Scattertext 文本可视化(
python
)、语言/知识表示工具:BERT & ERNIE、中文对比英文自然语言处理NLP的区别综述、Synonyms中文
近义词
工具包、HarvestText领域自适应文本挖掘工具(新词发现-情感分析-实体链接等)、word2word:(
Python
)方便易用的多语言词-词对集:62种语言/3,564个多语言对、语音识别语料生成工具:从具有音频/字幕的在线视频创建自动语音识别(ASR)语料库、构建医疗实体识别的模型(包含词典和语料标注)、单文档非监督的关键词抽取、Kashgari中使用gpt-2语言模型、开源的金融投资数据提取工具、文本自动摘要库TextTeaser: 仅支持英文、人民日报语料处理工具集、一些关于自然语言的基本模型、基于14W歌曲知识库的问答尝试--功能包括歌词接龙and已知歌词找歌曲以及歌曲歌手歌词三角关系的问答、基于Siamese bilstm模型的相似句子判定模型并提供训练数据集和测试数据集、用Transformer编解码模型
实现
的根据Hacker News文章标题自动生成评论、用BERT进行序列标记和文本分类的模板代码、LitBank:NLP数据集——支持自然语言处理和计算人文学科任务的100部带标记英文小说语料、百度开源的基准信息抽取系统、虚假新闻数据集、Facebook: LAMA语言模型分析,提供Transformer-XL/BERT/ELMo/GPT预训练语言模型的统一访问接口、CommonsenseQA:面向常识的英文QA挑战、中文知识图谱资料、数据及工具、各大公司内部里大牛分享的技术文档 PDF 或者 PPT、自然语言生成SQL语句(英文)、中文NLP数据增强(EDA)工具、英文NLP数据增强工具 、基于医药知识图谱的智能问答系统、京东商品知识图谱、基于mongodb存储的军事领域知识图谱问答项目、基于远监督的中文关系抽取、语音情感分析、中文ULMFiT-情感分析-文本分类-语料及模型、一个拍照做题程序、世界各国大规模人名库、一个利用有趣中文语料库 qingyun 训练出来的中文聊天机器人、中文聊天机器人seqGAN、省市区镇行政区划数据带拼音标注、教育行业新闻语料库包含自动文摘功能、开放了对话机器人-知识图谱-语义理解-自然语言处理工具及数据、中文知识图谱:基于百度百科中文页面-抽取三元组信息-构建中文知识图谱、masr: 中文语音识别-提供预训练模型-高识别率、
Python
音频数据增广库、中文全词覆盖BERT及两份阅读理解数据、ConvLab:开源多域端到端对话系统平台、中文自然语言处理数据集、基于最新版本rasa搭建的对话系统、基于Tens
python
判断中文
近义词
_
近义词
查询工具easySynonyms
说明:该工具是中文
近义词
查询工具,功能包含有: 单词
近义词
查询、两句子近义程度分析、句子拆解成单词,本工具使用的是Synonyms开源库,为了方便普通用户使用,所以封装了一个 windows窗体的小工具。1.安装环境1.1.安装安装
python
.png1.2.检查是否成功win键 + Rwin+R.png输入打开 cmd 控制面板cmd.png检查
python
在控制面版中输入:
python
-V...
脚本语言
37,718
社区成员
34,238
社区内容
发帖
与我相关
我的任务
脚本语言
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
复制链接
扫一扫
分享
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
试试用AI创作助手写篇文章吧
+ 用AI写文章