1000w 个单词如何统计词频

[namewchwch]

如题 c++下

[showjim]

trie树或者hash

[namewchwch]

并且要按 词频的大小排序输出 .....


并且要按 词频的大小排序输出 .....

并且要按 词频的大小排序输出 .....

并且要按 词频的大小排序输出 .....

并且要按 词频的大小排序输出 .....

[showjim]

先统计，再排序

[namewchwch]

[Quote=引用 3 楼 sbwwkmyd 的回复:]
先统计，再排序
[/Quote]

你这个太慢了

[showjim]

[Quote=引用 4 楼 namewchwch 的回复:]
引用 3 楼 sbwwkmyd 的回复:
先统计，再排序


你这个太慢了
[/Quote]
在最大词频不高的情况下可以用桶排。

不知道楼主有什么好办法，请教。

[namewchlp]

自己写hash 后用计数排序。

[x642458]

[Quote=引用 6 楼 namewchlp 的回复:]

自己写hash 后用计数排序。
[/Quote]
顶

[zhouyanyiyi]

用字母顺序去查找呢

[HimeTale]

1000w要借助硬盘了吧
a-z 26个文件夹里面再26个文件夹...估计2层够了，
用的时候先缓存几种常用的开头到内存里
不命中的话直接去硬盘上找.

[商科程序员]

那些日志什么的都是我加的.主要就是DatagramSocket在什么情况下发送数据时会抛错.

protected DatagramSocket socket = null;
    public void sendMessage(Address targetAddress, byte[] message) throws java.io.IOException
    {
        InetSocketAddress targetSocketAddress = new InetSocketAddress(((UdpAddress) targetAddress).getInetAddress(),
                ((UdpAddress) targetAddress).getPort());
        DatagramPacket packet = new DatagramPacket(message, message.length, targetSocketAddress);
        socket.send(packet);
    }

[air_snake]

[Quote=引用 6 楼 namewchlp 的回复:]

自己写hash 后用计数排序。
[/Quote]

这个也就hash了吧，其他的应该没有什么办法，除非还有些限制条件，可以做预处理。

[xero_123]

好像就是tire和hash吧，别的方法好像也没有很高的效率

[cxb23]

能详细点不？

[lz3771]

hash吧，可以考虑map么

[超级大笨狼]

哪种语言会有1000万词汇？
英语最多几十万而已，不会过百万。
百万是医学+化学专业词汇的水平。
可用的就几万。
平常人用的最多就2万。
日常用的就2000。