中文词统计

flypig917 2007-04-03 02:48:37
有没有中文词统计的方法用C/C++的都行，我的方法是通过哈希法定位第一个汉字后加入单链表统计但当文件大于5M时就不行了，希望大家多多帮忙。
...全文
149 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
java版中文汉字字频统计
该程序是一个java的中文汉字字频统计，从诸如txt文件中读取语料，然后生成一个前100个高频汉字的字频统计结果的txt文件，并且还会生成前100、200、600、2000、等汉字的字频和的另一个txt文件。该程序是借用treeMap来实现数据的储存的，很方便。输入语料文件名时是要输入全名的，例如：E:\1.txt
MATLAB统计分析-描述性统计
主要介绍MATLAB统计分析中描述性统计部分的内容，包括集中趋势、离中趋势的描述、频数分析和相关统计图形绘制等。 所在套餐：MATLAB核心知识点系列课程-CSDN程序员研修院，不断更新和增加课程。
中文分词词库词典 频率统计
中文分词词库词典，支持频率统计如： 33 ℃ 1 34 阿 257 35 阿巴丹 1 36 阿巴岛 1 37 阿巴鸟 8 38 阿巴伊达 1 39 阿坝 2 40 阿爸 12 41 阿北乡 1 42 阿比林市 1 43 阿比让 46 44 阿比让港 1 45 阿比让市 4
Java词频统计算法（使用单词树）
用Java实现的词频统计，代码。为了统计词汇出现频率，最简单直接的做法是另外建一个Map：key是单词，value是次数。将文章从头读到尾，读到一个单词就到Map里查一下，如果查到了则次数加一，没查到则往Map里一扔。这样做虽然代码写起来简单，但性能却非常差。首先查询Map的代价是O(logn)，假设文章的字母数为m，则整个统计程序的时间复杂度为O(mlogn)不说，如果要拿高频词可能还需要对统计结果进行排序。即便对结构上进行优化性能仍然不高。
C语言

69,371

社区成员

243,080

社区内容

发帖
与我相关
我的任务
社区描述
C语言相关问题讨论
社区管理员
  • C语言
  • 花神庙码农
  • 架构师李肯
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章