MySQL读取10G的CSV文件+python读写大文件

[DouMiaoO_Oo]

问题是这样的，需要做数据处理，CSV文件不方便使用，所以需要存入MySQL中。因为我的CSV有10G，所以我的目标是能够高效的把数据导入数据库中，这里我本来考虑是用MySQL的LOAD DATA INFILE。
但是CSV文件中的数据不是很符合规范，需要先预处理一遍才能导入数据库。因为CSV中包含中文，python处理编码比较方便，所以想用python来做预处理。请问python如何读写10G的文件，我知道可以read(size)这样，但怎么同时写入另一个文件

也许我的思路从一开始就有问题，所以把整个问题都描述了。