对于用poi读取Excel的数据，数据量很大的问题。

[weiwangwang521]

对于用poi读取Excel的数据，数据量很大（千万级）的情况下，请问怎么限制每次读取的文件数据量为500，然后保存在另一个Excel表格中，然后依次循环读取，依次保存，保证全部数据的完整性和不重复性呢？求大神指点，并赐予代码！！急。

[lpzsoft]

不知道呀,也求教

[致知Fighting]

读到文本文件里，内存够大就在内存去重，内存不够就分几个文件排序以后再去重

[weiwangwang521]

引用 2 楼 ygycomon 的回复:

读到文本文件里，内存够大就在内存去重，内存不够就分几个文件排序以后再去重

请教下，怎么给它们分几个文件去依次读取，求代码。

[致知Fighting]

引用 3 楼 weiwangwang521 的回复:

[quote=引用 2 楼 ygycomon 的回复:] 读到文本文件里，内存够大就在内存去重，内存不够就分几个文件排序以后再去重

请教下，怎么给它们分几个文件去依次读取，求代码。[/quote] 你是不会分文件还是不会排序还是不会去重还是干脆思路不清楚？ 不要说求代码这种话，思路给你了你自己去写

[weiwangwang521]

引用 4 楼 ygycomon 的回复:

[quote=引用 3 楼 weiwangwang521 的回复:] [quote=引用 2 楼 ygycomon 的回复:] 读到文本文件里，内存够大就在内存去重，内存不够就分几个文件排序以后再去重

请教下，怎么给它们分几个文件去依次读取，求代码。[/quote] 你是不会分文件还是不会排序还是不会去重还是干脆思路不清楚？ 不要说求代码这种话，思路给你了你自己去写[/quote] 已经完成了，就是有内存溢出的问题。应该是我处理不当。