社区
C++ 语言
帖子详情
热词算法
kingbogu
2012-08-13 02:00:18
数据库里有一大堆10个字左右的句子,想在这些句子中找出,出现频率最高的前10个词(热词),当然像“的”“地”等这些单个无用的词不认为是热词,希望有人给点使用的算法思想,或者直接代码,或者一起讨论下。谢谢!!
...全文
306
7
打赏
收藏
热词算法
数据库里有一大堆10个字左右的句子,想在这些句子中找出,出现频率最高的前10个词(热词),当然像“的”“地”等这些单个无用的词不认为是热词,希望有人给点使用的算法思想,或者直接代码,或者一起讨论下。谢谢!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
寻找自我
2012-08-13
打赏
举报
回复
http://blog.csdn.net/v_july_v/article/details/6142146 我来给个链接。
其实这10个字的句子 不会用到什么 隐含马尔可夫模型的。
houjin_cn
2012-08-13
打赏
举报
回复
分词+统计
Gloveing
2012-08-13
打赏
举报
回复
google 数据挖掘10大经典算法
Gloveing
2012-08-13
打赏
举报
回复
google 数据挖掘10大经典算法
寻找自我
2012-08-13
打赏
举报
回复
字典树应该就可以了
kingbogu
2012-08-13
打赏
举报
回复
当然那些句子都是能读得通的句子,我觉得如果在这么多句子中某两个字或多个字出现在一起的频率比较高时,他们应该组成的是一个有意义的词了。
翅膀又硬了
2012-08-13
打赏
举报
回复
感觉很复杂,还需要字典吧?怎么确定哪两个或者多个相邻的字是一个词? 判断热词应该相对容易一些,统计排序。
热词
的识别与提取
算法
1.什么是
热词
热词
特点: 1.某一时间段内起点低,增长迅速 2.具有很强的延续性,和
热词
相关的其他词也被报道 3.热度随着时间的流逝而改变 2.
热词
排名计算的两种方法
热词
排名方法一:贝叶斯平均法(Bayesian average) 先来理解一下利用贝叶斯统计
算法
的公式: WR是每个词的加权得分,WR越大表示热度越大 R是该词汇的平均得分(这里设定都为1) v是...
新词发现方法,新词发现
算法
有哪些,
热词
的发现方法,互联网
热词
挖掘方法
(1)从大数据中抽取:通过抓取互联网上的海量语料,利用统计模型和自然语言处理技术,挖掘新的高频单词或词组,比如Google的Ngram Viewer。(4)
热词
挖掘:基于特征提取结果,运用机器学习
算法
和自然语言处理技术,对文本进行分析和挖掘,挖掘出
热词
和相关热点话题。(2)基于社交媒体的新词发现:通过分析社交媒体平台上的大量用户互动记录,挖掘出新词,比如Twitter的实时搜索。(3)基于词向量的
算法
:通过对文本数据进行分词,建立文本的向量表示,计算新词与现有词语的相似度,从中挖掘新词。
天天学
算法
——搜索
热词
关联(TopK)
目录: 《剑指offer》面试题-topk
算法
搜索
热词
关联
算法
代码实现以及java学习 写在前面每次写博客都爱先扯点乱七八糟的东西,这是工作准备写的第2篇博客,之前写过一篇hadoop入门,那里还留下了一个搜索引擎的demo没有去完成,这次学习
热词
关联刚好也是和搜索引擎相关,所以借此机会把这篇记录下来,一方面花了3天来学习了这个内容,确实学到了不少东西,二来下次写搜索引擎的hadoop的demo
热词
每一天状态里的词去和前一天的状态作对比,从而提取出这一天里特有的词呢?这样一来,我们就能从某网的用户状态中提取出每日热点了!从手里的数据规模看,这是完全有可能的。我选了 12 个比较具有代表性的词,并列出了它们在 2011 年 12 月 13 日的用户状态中出现的频数(左列的数),以及 2011 年 12 月 14 日的用户状态中出现的频数(右列的数): 下雪 33 92
热词
发现的
算法
都有哪些?
1、TFIDF的运用,如算出每个文档中单词的TFIDF后,比较大小,直接加权或者取TopN.这个可以自己写也可以用工具sklearn.(不过使用中文时注意上篇中提到的注意事项) 2、主题模型方法,使用gensim中的LDA等 最后使用词云工具如pyTagcloud进行可视化展示
C++ 语言
64,648
社区成员
250,476
社区内容
发帖
与我相关
我的任务
C++ 语言
C++ 语言相关问题讨论,技术干货分享,前沿动态等
复制链接
扫一扫
分享
社区描述
C++ 语言相关问题讨论,技术干货分享,前沿动态等
c++
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
请不要发布与C++技术无关的贴子
请不要发布与技术无关的招聘、广告的帖子
请尽可能的描述清楚你的问题,如果涉及到代码请尽可能的格式化一下
试试用AI创作助手写篇文章吧
+ 用AI写文章