欢迎讨论:索引文件怎么建立最好
UNIX系统,每天有上万个文件,每个文件有上千行记录,每条记录都是类似这样的结构:
1232|2222|33333333|213213211|12312|2434|4#|32|SAS|
每一行都不一样,现在希望按照其中的第二和第三个区间(2222、33333333)进行查找一年的记录,并将结果集输出到一个文件当中,可以选择的方法包括
1、将数据全部导到数据库中去,然后用SQL命令查找,但因为数据量太大,导入数据库太消耗系统性能
2、建立索引文件进行查找
我想用第2种方法,但具体如何操作?我的想法是将搜索条件hash,能直接定位到索引文件的行数,而该行存放实际文件和位置。但要支持模糊查找的话,好象又有些困难
或者还有什么其他思路,请大家交流一下,有自己想法的都送