如何实现统计海量数据出现频率最高的词

[luweipo]

比如，多条聊天记录，要统计出现频率最高的词，

用什么技术实现

如何实现

请指教

[LogicTeamLeader]

[Quote=引用楼主 的回复:]
比如，多条聊天记录，要统计出现频率最高的词，

用什么技术实现

如何实现

请指教
[/Quote]
真的是海量么？那就使用Solr或者Lucene，反正就是全文检索技术。
哦对了，你这个不用那么复杂，使用一个中文分词的工具包就可以了，推荐ICTCLAS或者paoding，看几个例子便知道了。
不用感谢组长，结贴吧。