大数据量比较

[guotao1982]

现有一个需求：
有一个文本文件，有几十万手机号码，需要跟数据库里面的黑名单（七八十万），无效号（一两百万）进行比较过滤，黑名单，无效号存在两个单独的表,不知道通过java程序有什么好的解决方案，能够提高其速度

[ll42002]

导入数据库，然后用sql语句实现。
这个估计是最快的。

[guotao1982]

还有哪位高手回答吗

[Student02370236]

如果要在效率上提高的话就要去查一下有没有好的算法
或者进行分块处理

[li_zero]

导入数据库，建索引，查询搞定。

[XiXiangHou]

如果字节使用JAVA程序，可以考虑，使用跳转表模式。
long l = Long.parsLong(手机号码）。

黑名单[]=new byte[MAX];
黑名单[l手机号]=1;

然后将需要比较的手机号上数组里找。
如果内存消耗太大，将它转换成位描述。

另外，强烈建议使用数据库模式进行处理

[echohere]

建立索引是最快的。

[xzwsun]

建索引，排序，写sql

[marcal_z]

查查数据结构呢。

[xxu]

将到"黑名单（七八十万），无效号（一两百万）"全部抓到内存,并以HashMap保存.
然后逐条检查"文本文件，有几十万手机号码"

[XiXiangHou]

HashMap 过了几万就非常缓慢！！！

[enenend]

二百万的hashmap,牛啊。索引才是正道！

[master_jt]

直接数据库查吧200W条记录不算什么，建了索引2000w都很快

[at4zhx]

1000万的hashmap我都用过,没有问题的,但java读文件的io开销会比较大.把文本导入数据库,建立索引,利用数据库查询也很快,看你是用一次还是经常用,是否部分更新文本里面的内容而定.

[hbwhwang]

1000万的hashmap我都用过？强～～
我的才100万就outofmemory了

[allright_flash]

sql处理最好了！

[awded]

这样的数据量，只有排序、建索引才能解决了。HashMap在数据量比较大的情况下，速度会非常的慢，肯定无法解决你的问题

[darkula]

一看处理手机号...SP的吧?...来,同行握手先;

给你几个我现在在用的处理方案:

1.扩大JVM的虚拟内存，按楼上几位说的,一次性读入一个SET,然后做比较;

2.导出数据为文本，一地区一个或多个文本,你下发时也是按地区发吧?就这样按地区过滤;

3.写成一个黑名单处理系统，用户上传黑名单,然后一个个黑名单文件/表来进行过滤,生成过滤后的文本给用户;