mysql数据在导入时如何去重的问题(通过LOAD DATA INFILE方式)

[lyw2073327]

如下图所示要把相关的数据导入到mysql中，原数据有100万条左右，然后通过如下代码实现了导入，但是这里有一个问题，图中标颜色的数据存在多列同时重复的数据，需要去重，那有什么办法在通过 LOAD DATA INFILE 进行导入的时候就去重呢，谢谢

create table new_table (`流水号` char(30),`商品条码` varchar(255),`日期` varchar(255),`时间` varchar(255),`商品信息` varchar(255))
LOAD DATA INFILE 'D:\\360\\100S-(utf8).csv' REPLACE INTO TABLE mysql.new_table
FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'