sql 分词以及高频次统计

一叶道人 2017-12-04 10:17:33

看了好几篇大数据从歌词分析歌坛变化的，可是自己上手就，，，所学知识完全不能用。

大神们，求助。SQL能实现吗，求源码。

...全文

765 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

薛定谔的DBA 2017-12-13

打赏
举报

回复

分词可以用 python 的 jieba，可以将句子进行不同词语的拆分，可汇总各个词的数量。到时共享结果看看哈~~

道素 2017-12-12

打赏
举报

回复

你要从基础一步一步，一开始搞简单点的，先理解各种基本概念和原理

吉普赛的歌 2017-12-05

打赏
举报

回复

分词不是数据库的强项，你研究一下 Elasticsearch 吧。

本文系统讲解词频统计的核心方法，重点对比绝对频次与加权频次（TF-IDF、位置权重、词性权重）的原理与适用场景。涵盖文本清洗、中文分词（Jieba+自定义词典）、停用词动态构建、词性过滤等关键预处理环节，并提供Python实操代码及可视化方案。强调预处理质量对结果的决定性影响，适用于NLP基础建模、文本洞察提取与商业分析。

文章指出对于中小项目简单的分词搜索需求，使用Elasticsearch成本高，可尝试MySQL分词查询。介绍了MySQL全文索引原理，包括分词、倒排索引和相关性计算，还说明了配置全文索引与分词查询的方法，提及中文分词的ngram与插件方案，以及进阶优化与监控措施。

本文介绍使用MySQL函数、存储过程及游标实现数据库内分词及统计的方法。通过自定义函数拆分由逗号分隔的关键词，并统计每个词出现的频次及对应的filedowntime总和。

本文介绍了一种使用Python中的jieba库对中文文本进行分词并统计词频的方法。通过读取文本文件，利用jieba进行分词处理，并计算每个词出现的频率，最后输出词频最高的前十词。

本文介绍了一种使用MySQL函数、存储过程及游标实现数据库内分词与统计的方法。通过自定义函数处理以逗号分隔的关键词字段，并统计各词频次，最终将结果存入新表。

27,579

社区成员

68,548

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章