Mysql大数据的处理，求大神指导

[浪中云]

小弟要从1.4G的文件中提取大约2000W条数据（不一样）
1.现在如果每次提取数据插入数据库的话，要现在数据库中判断数据是否存在在决定是否插入，这样的话，时间非常的慢！
2. 如果我把每条数据的放在hash表中，每次插入的过程，在hash表中进行查找，但是这样比较吃内存，我程序跑了7个小时之后就outofmemory了。

现在小弟不知道咋弄了，在想数据库怎么优化，求大神指导！

[浪中云]

求指导啊！！！

[haha_321]

建议把数据的引擎设置成MyISAM

[rucypli]

用ignore intert into

[浪中云]

求指导啊，求交流啊！

[浪中云]

引用 1 楼 rucypli 的回复:

用ignore intert into

我刚才试了一下，如果用ignore insert into插入一条数据的话，非常的慢，如果用ignore insert into批处理插入1000条数据的话，会报错（主键唯一，但是插入了重复的数据项）。那现在该怎么处理呢？

[代码誊写工]

内存不够那就把hash表建立在数据库的文件系统引擎上。虽然慢一点儿，但比程序崩溃了强。 PS：你的hash表是指你在程序里的hashtable，还是指memroy engine的hash索引？

[浪中云]

已解决，把mysql的数据引擎换了，谢谢各位