社区
自然语言处理(NLP)
算法
帖子详情
一个好用的分词器、分句器、分段器还是很有用的
幻灰龙
2022-09-30 11:09:47
不知道大家有没做过分句器和分段器。
...全文
成就一亿技术人!
178
回复
打赏
收藏
一个好用的分词器、分句器、分段器还是很有用的
不知道大家有没做过分句器和分段器。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
如何用python做自然语言处理
# 加载投诉信息(假设complaints是
一个
包含投诉文本的列表)#
分句
和分词# 去除停用词对处理后的文本数据进行词频统计,以识别出最常见的词汇和短语。# 合并所有文本# 统计词频利用spaCy等工具进行自然语义理解,...
《自然语言处理技术综述(第三版)》(2)----分词和归一化
学习和应用NLP有几年了,在工程应用上也小有成果,除了开发了智能客服、智能营销、智能回访、保险智能机
器
人系统外,正在做
一个
开放平台,希望不久能为更多企业、个人所使用。在这个过程中积累了很多算法改进、应用...
LlamaIndex:轻松构建索引查询本地文档的神
器
LlamaIndex(以前称为 GPT Index)是
一个
开源项目,它在 LLM 和外部数据源(如 API、PDF、SQL 等)之间提供
一个
简单的接口进行交互。...列表索引:对于合成
一个
结合了多个数据源信息的答案很
有用
。关键字表索引。
SIFRank_zh与关键词提取
关键词提取技术刚开始接触这个概念的时候,网上一大堆介绍TF-IDF和TextRank算法,这俩简直已经称为了关键词提取的baseline。关于TF-IDF,的确在许多文档中已经作为了baseline来和其他技术相对比,是一种简...
【AI大模型专栏学习笔记02 NLP高级任务】什么?!AI还能帮我们做这些事!
Embedding 向量适合作为
一个
中间结果,用于传统的机
器
学习场景,比如分类、聚类。Completion 接口,一方面可以直接拿来作为
一个
聊天机
器
人,另一方面,只要善用提示词,就能完成合理的文案撰写、文本摘要、机
器
翻译...
自然语言处理(NLP)
679
社区成员
192
社区内容
发帖
与我相关
我的任务
自然语言处理(NLP)
自然语言处理实战,讨论算法、模型、服务、应用。请具体描述问题,提出问题。
复制链接
扫一扫
分享
社区描述
自然语言处理实战,讨论算法、模型、服务、应用。请具体描述问题,提出问题。
算法
推荐算法
人工智能
个人社区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
自然语言处理实战。
试试用AI创作助手写篇文章吧
+ 用AI写文章