[求助]统计一个英文文档里面的所有词组信息

Thierry_xiao 2013-01-05 01:15:49

求大神指教啊，一个30M的英文文档统计里面的英文词组的详细信息(把包含的词组显示出来以及词组出现的次数啊之类的)。求指导求思路、、、小的感激不尽啊！

...全文

197 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

Thierry_xiao 2013-01-05

打赏
举报

回复

有没有人做过这样的统计啊，求大神指导下哦。谢谢哦

使用VBA统计WORD文档中汉字、英文及其组合出现次数，使用前需在word内插入textbox1和commandbutton1，可去掉文档标点。代码通过简单for、do循环实现，理论上能统计999个字符文本，增加数组体积可增加统计文本数量，结合中文词典可输出特定词组统计数量。

该博客围绕统计文档中出现频次最高的词组展开。针对中文文档，推荐Python + jieba库，需过滤停用词；英文文档推荐Python + nltk库或C++实现。非技术用户可使用Word查找功能或Excel公式，但效率低。还提到通用工具及注意事项，如验证结果准确性、考虑TF - IDF算法等。

本文介绍了Python自然语言处理工具包NLTK，包括其历史和现状。详细说明了NLTK的环境配置，如使用pip安装库和引入模块。还展示了如何使用NLTK完成英文单词及二元词汇词频统计，包括代码输入输出格式、停用词引入等，最后附上了常用停用词。

本文介绍了一个用于英文文本的单词及词组频率统计的程序。程序首先读取文件并清洗数据，然后统计单词频率，最后统计词组频率。在词组统计中，采用森林数据结构存储词组信息，并通过广度优先遍历进行格式化。

本文介绍了如何使用Python对英文和中文文件进行词频统计。针对英文文档，通过转换为小写并移除标点来统计词频；而对于中文文档，则借助jieba库进行分词并统计词频。完整代码和运行效果在文中给出。

51,409

社区成员

86,087

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章