程序如下：
一共158，240个小文件（每个到不大，几百吧），
1
每个文件进行处理(stoplist,stemming)------词频统计
2 将这么多小文件合并起来杂做？？(我想建立一个 单词 =〉词频统计hash表)
主要考虑时间复杂度，怎样做好？？
CPU Pentium IV 3G
内存 1G
-
等级
本版专家分：0结帖率 85.71% -
我的程序很多，很碎，不知能否建立hash表
程序如下：
一共158，240个小文件（每个到不大，几百吧），
1
每个文件进行处理(stoplist,stemming)------词频统计
2 将这么多小文件合并起来杂做？？(我想建立一个 单词 =〉词频统计hash表)
主要考虑时间复杂度，怎样做好？？
CPU Pentium IV 3G
内存 1G
展开阅读全文
-
等级
本版专家分：12491勋章
-
-
红花
2006年3月 其他开发语言大版内专家分月排行榜第一
2006年2月 其他开发语言大版内专家分月排行榜第一
2005年4月 其他开发语言大版内专家分月排行榜第一
-
-
蓝花
2006年4月 其他开发语言大版内专家分月排行榜第三
2004年12月 其他开发语言大版内专家分月排行榜第三
-
-
如果内存不够，可以适用gdbm, bsddb等数据库。和字典的使用方法一样。
-
等级
本版专家分：5352勋章
-
- GitHub
-
- 进士 2006年 总版技术专家分年内排行榜第四
-
- 金牌 2006年4月 总版技术专家分月排行榜第一
-
- 铜牌 2006年3月 总版技术专家分月排行榜第三
-
-
用b树找起来快些
-
等级
本版专家分：59
-
1。hashtable处理大量数据还是有优势的，当然前提是hash算法不能太烂
2。如果文件数的确很多，也可以考虑分别存放于多个独立hashtable中
- 哈希表（Hash Table）原理及其实现
原理 介绍 哈希函数构造 冲突处理 举例 拉链法 hash索引跟B树索引的区别 实现原理介绍哈希表（Hash table，也叫散列表）， 是根据关键码值(Key value)而直接...哈希表hash table(key，value) 的做法其实很简单，就是把K
- MySQL 面试题
MySQL 面试题 MySQL 涉及的内容非常非常非常多，所以面试题也容易写的杂乱。当年，我们记着几个一定要掌握的重心： ...对于【运维】部分，更多考验开发的知识储备情况，当然能回答出来是比较好的...
- 从头到尾彻底解析Hash 表算法 hash+最小堆
... 十一、从头到尾彻底解析Hash 表算法 作者：July、wuliming、pkuoliver 出处：http://blog.csdn.net/v_JULY_v。 说明：本文分为三部分内容， 第一部分为一道百度面试题Top K算法的详
- dpkg：警告：无法找到软件包 XXX的文件名列表文件，现假定该软件包目前没有任何文件被安装在系统里。...
1.问题描述：在使用sudo apt-get update 和upgrade中会出现：dpkg：警告：无法找到软件包ca-certificates 的文件名列表文件，现假定该软件包目前没有任何文件被安装在系统里。dpkg：警告：无法找到软件包...
- 海量数据处理问题 分而治之 hash表 堆排序
分而治之：通过hash将大文件分为小文件，大数据分为小数据等； hash统计：整合每个小文件，筛选重复数据，记录大小； （可用到map / hash_map / set / hash_set等） 归并：整合每个小文件的hash统计结果，得到最终...
- 海量数据处理——分治和hash映射
什么是Hash Hash，一般翻译做“散列”，也有直接音译为“哈希”的，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是...
- ORACLE 表空间文件大小问题
ORACLE 表空间文件大小问题 oracle的块 db_block_size oracle及操作系统对于文件大小的限制 如何配置不同尺寸的db block size from： http://bdcwl.blog.163.com/blog/static/765222652010112784912650/ DBA...
- hash表详解与红黑树（RB-Tree）
hash表（散列表）一般被用来加密，压缩等。 当选择的hash函数足够复杂时（难以破解），那么密码的明码通过此hash函数生成散列值的过程就是不可逆的，这往往被IT公司用来保存用户的密码，防止泄露。 hash table被...
- 加密解密（四）--Java中的Hash算法
Hash算法严格上来说并不属于加密算法，而是与加密算法属于并列关系的一种算法。概括来说，哈希（Hash）是将目标文本转换成具有相同长度的、不可逆的杂凑字符串（或叫做消息摘要），而加密（Encrypt）是将目标文本...
- mysql数据库中，数据量很大的表，完美解决方案
问题前提：老系统，当时设计系统的人大概是大学没毕业，表设计和sql语句写的不仅仅是垃圾，简直无法直视。原开发人员都已离职，到我来维护，这就是传说中的维护不了就跑路，然后我就是掉坑的那个！！！ ...
- vue面试题
vue面试题 1.Vue和react的相同与不同 相同点： 都支持服务器端渲染 都有virtual DOM，组件化开发，通过props参数进行父子组件数据的传递，都实现webComponent规范 数据驱动视图 都有支持native的方案，react native...
- Python内置函数
Python内置函数Python abs()函数Python all() 函数Python any() 函数Python basestring() 函数Python bin() 函数Python bool() 函数Python bytearray() 函数Python callable() 函数Python chr() 函数Python ...
- 索引是建的越多越好吗
1.数据量小的表不需要建立索引，建立会增加额外的索引开销 2.不经常引用的列不要建立索引，因为不常用，即使建立了索引也没有多大意义。对经常用于查询的字段应该创建索引。 3.经常频繁更新的列不要建立索引，因为...
- Java程序员找工作很难吗？可能没有get这些内容
经常面试一些候选人，整理了下我面试使用的题目，陆陆续续整理出来的题目很多，所以每次会抽一部分来问。答案会在后面的文章中逐渐发布出来。 基础题目 Java线程的状态 进程和线程的区别，进程间如何通讯，线程间...
- php Hash函数了解
这里我们将要讨论Hash的原理，以及它是如何保护Web 应用程序中的密码安全的。 1.声明 密码学是一个复杂的话题，我也不是这方面的专家。许多高校和研究机构在这方面都有长期的研究。在这篇文章里，我希望尽量使用简单...
- MySQL优化系列（四）--表的设计与优化（单表、多表）
真实地去设计优化单表结构以及讲述多表设计基本原则（结合真实的生产环境的取舍来讲述）。 文章结构：（1）单表设计与优化；（2）基于单表设计的多表设计原则（含表拆分原则）；（均以实际生产开发环境下的环境为...
- 哈希表、Java中HashMap
哈希表（Hash Table）是一种数据结构； 哈希函数，是支撑哈希表的一类函数； Map是映射、地图的意思，在Java中Map表示一种把K映射到V的数据类型； HashMap是Java中用哈希数据结构实现的Map； 一、Hash算法...
- 大数据处理算法三：分而治之/hash映射 + hash统计 + 堆/快速/归并排序
同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的 IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中...
- MySQL索引详解——full-text，b-tree，hash，r-tree
mysql里目前只支持4种索引分别是：full-text，b-tree，hash，r-tree b-tree索引应该是mysql里最广泛的索引的了，除了archive基本所有的存储引擎都支持它. 1. full-text索引 full-text在mysql里仅有myisam支持...
- oclhashcat：离线hash密码破解工具官方文档（中文版）
至于oclhashcat，它是一个离线的hash密码破解工具，与hashcat不同，它支持GPU破解，速度更快，并且支持更多的hash算法！ GPU驱动要求:AMD users require AMD drivers 14.9 or later (recommended 15.12 exact)Intel...
- GreenDao建立多表之间的关联
上一篇中介绍了如何使用GreenDao保存List类型的数据， 但是在实际开发中经常会遇到List的泛型并不是String类型的，而是另外一种自定义的Bean类类型。 比如，在上一篇文章中的User代表一个用户，但是在每一个用户中...
- 电脑hash破解
我一直在想，到底用什么样的方式才能较长时间地控制已经得到了权限的目标呢？...早期的是自己建个进程，结束掉进程就over了，后来有了注入进程的木马，再后来还有了以服务启动的木马，还有些是替换某些不要紧的
- hash算法总结收集
hash算法的意义在于提供了一种快速存取数据的方法,它用一种算法建立键值与真实值之间的对应关系,(每一个真实值只能有一个键值,但是一个键值可以对应多个真实值),这样可以快速在数组等条件中里面存取数据. 在...
- 海量数据面试题----分而治之/hash映射 + hash统计 + 堆/快速/归并排序
稍后本文第二部分中将多次提到hash_map/hash_set，下面稍稍介绍下这些容器，以作为基础准备。一般来说，STL容器分两种： 序列式容器(vector/list/deque/stack/queue/heap)， 关联式容器。关联式容器又分为...
- 哈希表入门讲解
散列表（Hash table，也叫哈希表），是根据键（Key）而直接访问在内存存储位置的数据结构。也就是说，它通过计算一个关于键值的函数，将所需查询的数据映射到表中一个位置来访问记录，这加快了查找速度。这个映射...
- MySQL--表的设计与优化（单表、多表）
（2）基于单表设计的多表设计原则（含表拆分原则）；（均以实际生产开发环境下的环境为基准）文章目录：（1）单表设计与优化设计规范化表，消除数据冗余（以使用正确字段类型最明显） 前三范式所有字段类型 - 所有...
- 深入理解操作系统原理之文件系统
操作系统对系统的软件资源（不论是应用软件和系统软件）的管理都以文件方式进行，承担这部分功能的操作系统称为文件系统。 1、文件 计算机系统对系统中软件资源：无论是程序或数据、系统软件或应用软件都以文件...
- 哈希表 相关笔试题
[摘抄] 哈希表在查找过程中进行比较的关键字个数取决于哈希函数，处理冲突的方法和哈希表的装填因子，哈希表的装填因子标志哈希表的装满程度，与哈希表的长度有直接联系。 有B+Tree/Hash_Map/STL Map三种数据结构。...
- 分布式服务框架
第2 章 分布式系统基础设施 chapter 第2 章 分布式系统基础设施 │ 59 一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支 撑系统称为分布式系统的基础设施。除了前面所介绍的分布式...
- linux命令大全
Linux命令大全完整版 目 录 目 录... I 1. linux系统管理命令... 1 adduser1 chfn(change finger information)1 chsh(change shell)1 date. ...gitps(gnu interactive tools proce