问题是这样的,需要做数据处理,CSV文件不方便使用,所以需要存入MySQL中。因为我的CSV有10G,所以我的目标是能够
高效的把数据导入数据库中,这里我本来考虑是用MySQL的
LOAD DATA INFILE。
但是CSV文件中的数据不是很符合规范,需要先预处理一遍才能导入数据库。因为CSV中包含中文,python处理编码比较方便,所以想用python来做预处理。请问python如何读写10G的文件,我知道可以read(size)这样,但怎么同时写入另一个文件
也许我的思路从一开始就有问题,所以把整个问题都描述了。