很多，很碎的文件能否建hash表？？

erbao78 2006-03-10 08:46:51

我的程序很多，很碎，不知能否建立hash表

程序如下：
一共158，240个小文件（每个到不大，几百吧），
1
每个文件进行处理(stoplist,stemming)------词频统计

2 将这么多小文件合并起来杂做？？(我想建立一个单词 =〉词频统计hash表)

主要考虑时间复杂度，怎样做好？？

CPU Pentium IV 3G
内存 1G

...全文

130 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

ydogg 2006-03-17

打赏
举报

回复

1。hashtable处理大量数据还是有优势的，当然前提是hash算法不能太烂
2。如果文件数的确很多，也可以考虑分别存放于多个独立hashtable中

蒋晟 2006-03-11

打赏
举报

回复

用b树找起来快些

xyzxyz1111 2006-03-10

打赏
举报

回复

如果内存不够，可以适用gdbm, bsddb等数据库。和字典的使用方法一样。

今天看左神讲的这个题目首先考虑如何计数，也就是每一个url出现了多少次呢？使用布隆过滤。（还没学）使用hash函数进行分流，将相同的hash值取模的url放到同一个文件中。每一个url对应一个字符串hash。这个字符串hash对一个数取模那么这样同一种url就会进入一个文件中去。第二个问题,统计前100: 先把100亿条数据使用hash函数进行分流，划分成不同文件。然后对于每一个文件建堆：进行一个hashMap的统计，url作为key, 词频作为value。按照value

哈希函数三套“算法宝典”算法刷题LeetCode中文版（为例）人与人存在很大的不同，我们都拥有各自的目标，在一线城市漂泊的我偶尔也会羡慕在老家踏踏实实开开心心养老的人，但是我深刻知道自己想要的是一年比一年有进步。最后，我想说的是，无论你现在什么年龄，位于什么城市，拥有什么背景或学历，跟你比较的人永远都是你自己，所以明年的你看看与今年的你是否有差距，不想做咸鱼的人，只能用尽全力去跳跃。祝愿，明年的你会更好！

hash表 C++的使用以及理解最近在复习和刷leetcode的时候又复习了一遍哈希表，以及在C++中是如何使用的，并且会把做过的题整理到这篇文章中一、定义哈希表散列表（Hash table，也叫哈希表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。为什么使用哈希表，它带给我们的好处就是可以为寻址带来遍历。由于哈希表的键和值是对应的，查找起来会比较迅速。但是

1、webpack就内置了hash计算方法，对生成的文件可以在输出的文件中添加hash字段。2、webpack内置的hashhash每次构建会生成一个hash。和整个项目有关，只要项目有文件更改，就会改变hash。和单个文件的内容有关。指定文件的内容发生改变，就会改变hash。chunkhash和webpack打包生成的chunk相关。每一个entry，都会有不用的hash。.........

hash表（散列表）一般被用来加密，压缩等。当选择的hash函数足够复杂时（难以破解），那么密码的明码通过此hash函数生成散列值的过程就是不可逆的，这往往被IT公司用来保存用户的密码，防止泄露。 hash table被用来压缩，主要是因为通过hash函数映射后，数据存储的空间大大缩小，提高空间利用率，往往被用来处理大数据，这是由于通过hash函数映射的散列值所占用的空间远远小于原数据。 ...

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章