求编辑大文本数据的工具或者方法

fctudou 2015-08-15 05:26:42
最近要整理数据,很多都是几百万条记录的,excel只能6W多,虽然ultraedit能打开,很方便,可是我需求对这几百万条的数据记录做批量修改,操作以后一般都会出现未响应,基本编辑不了
有没有大侠知道方法或者工具
...全文
73 点赞 收藏 7
写回复
7 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
Tiger_Zhao 2015-08-17
参考XML 格式化文件 (SQL Server)
你可以用 TERMINATOR = "--"来指定(除了行末字段的)分隔符。
回复
xiaoxiangqing 2015-08-17
这么大的量,只能用语句直接修改吧
回复
fctudou 2015-08-17
中文字符我改了下,好了。 有些数据不能直接导入数据库,要编辑格式才行, 比较我有个几十万条记录的记事本,几个字段都用空格或者其他符号分隔的,请问有什么办法能编辑成能导入数据的格式,例如: 原始文件格式 123--324--1231--12323 134--2324--2324--4543 像这种怎么改成数据库能导入的格式 (123, 324, 1231, 12323), 呢? ultraedit打开批量替换会处理不来。
回复
Q315054403 2015-08-16
导入数据库,建立合理的索引,随便改呗 很多数据库都是数千万、数亿记录的,同样接受高并发修改、查询请求
回复
fctudou 2015-08-16
写程序,部分读入,修改,再保存入另外一个文件。不然就会出现你这样的问题。 请问2楼有什么现成的工具没? 尝试了导入mysql数据库来修改,老出问题,应该是编码问题,不知道怎么解决 ERROR 1366 (HY000): Incorrect string value: '\xC3\xE3\xBF\xFC' for column 'usern ame' at row 1 另外有些数据记录字段不统一,导入数据来修改就比较麻烦了
回复
shoppo0505 2015-08-16
写程序,部分读入,修改,再保存入另外一个文件。不然就会出现你这样的问题。
回复
shallming_ma 2015-08-16
不知道楼主EXCEL是什么版本,本人现在用2013,可以处理的行数有140多万行,只是会比较慢,一般不会轻易使用而已.个人工作平日数据处理量在240万左右,习惯放进数据库批量处理比较方便而且一致,后期输出或者生成文件也比较方便,如果有特殊的处理要求不妨提出大家探讨.
回复
相关推荐
发帖
疑难问题
创建于2007-09-28

2.1w+

社区成员

MS-SQL Server 疑难问题
申请成为版主
帖子事件
创建了帖子
2015-08-15 05:26
社区公告
暂无公告