求编辑大文本数据的工具或者方法

[fctudou]

最近要整理数据，很多都是几百万条记录的，excel只能6W多，虽然ultraedit能打开，很方便，可是我需求对这几百万条的数据记录做批量修改，操作以后一般都会出现未响应，基本编辑不了
有没有大侠知道方法或者工具

[shallming_ma]

不知道楼主EXCEL是什么版本,本人现在用2013,可以处理的行数有140多万行,只是会比较慢,一般不会轻易使用而已.个人工作平日数据处理量在240万左右,习惯放进数据库批量处理比较方便而且一致,后期输出或者生成文件也比较方便,如果有特殊的处理要求不妨提出大家探讨.

[shoppo0505]

写程序，部分读入，修改，再保存入另外一个文件。不然就会出现你这样的问题。

[fctudou]

写程序，部分读入，修改，再保存入另外一个文件。不然就会出现你这样的问题。 请问2楼有什么现成的工具没？ 尝试了导入mysql数据库来修改，老出问题，应该是编码问题，不知道怎么解决 ERROR 1366 (HY000): Incorrect string value: '\xC3\xE3\xBF\xFC' for column 'usern ame' at row 1 另外有些数据记录字段不统一，导入数据来修改就比较麻烦了

[Q315054403]

导入数据库，建立合理的索引，随便改呗 很多数据库都是数千万、数亿记录的，同样接受高并发修改、查询请求

[fctudou]

中文字符我改了下，好了。 有些数据不能直接导入数据库，要编辑格式才行， 比较我有个几十万条记录的记事本，几个字段都用空格或者其他符号分隔的，请问有什么办法能编辑成能导入数据的格式，例如： 原始文件格式 123--324--1231--12323 134--2324--2324--4543 像这种怎么改成数据库能导入的格式 (123, 324, 1231, 12323), 呢？ ultraedit打开批量替换会处理不来。

[xiaoxiangqing]

这么大的量，只能用语句直接修改吧

[Tiger_Zhao]

参考XML 格式化文件 (SQL Server)
你可以用 TERMINATOR = "--"来指定（除了行末字段的）分隔符。