37,740
社区成员
发帖
与我相关
我的任务
分享很多，很碎的文件能否建hash表？？
我的程序很多，很碎，不知能否建立hash表
程序如下：
一共158，240个小文件（每个到不大，几百吧），
1
每个文件进行处理(stoplist,stemming)------词频统计
2 将这么多小文件合并起来杂做？？(我想建立一个 单词 =〉词频统计hash表)
主要考虑时间复杂度，怎样做好？？
CPU Pentium IV 3G
内存 1G
程序如下：
一共158，240个小文件（每个到不大，几百吧），
1
每个文件进行处理(stoplist,stemming)------词频统计
2 将这么多小文件合并起来杂做？？(我想建立一个 单词 =〉词频统计hash表)
主要考虑时间复杂度，怎样做好？？
CPU Pentium IV 3G
内存 1G
...全文
请发表友善的回复…
发表回复
ydogg 2006-03-17
- 打赏
- 举报
1。hashtable处理大量数据还是有优势的，当然前提是hash算法不能太烂
2。如果文件数的确很多，也可以考虑分别存放于多个独立hashtable中
2。如果文件数的确很多，也可以考虑分别存放于多个独立hashtable中
蒋晟 2006-03-11
- 打赏
- 举报
用b树找起来快些
xyzxyz1111 2006-03-10
- 打赏
- 举报
如果内存不够，可以适用gdbm, bsddb等数据库。和字典的使用方法一样。
