求编辑大文本数据的工具或者方法

fctudou 2015-08-15 05:26:42
最近要整理数据,很多都是几百万条记录的,excel只能6W多,虽然ultraedit能打开,很方便,可是我需求对这几百万条的数据记录做批量修改,操作以后一般都会出现未响应,基本编辑不了
有没有大侠知道方法或者工具
...全文
108 7 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
Tiger_Zhao 2015-08-17
  • 打赏
  • 举报
回复
参考XML 格式化文件 (SQL Server)
你可以用 TERMINATOR = "--"来指定(除了行末字段的)分隔符。
xiaoxiangqing 2015-08-17
  • 打赏
  • 举报
回复
这么大的量,只能用语句直接修改吧
fctudou 2015-08-17
  • 打赏
  • 举报
回复
中文字符我改了下,好了。 有些数据不能直接导入数据库,要编辑格式才行, 比较我有个几十万条记录的记事本,几个字段都用空格或者其他符号分隔的,请问有什么办法能编辑成能导入数据的格式,例如: 原始文件格式 123--324--1231--12323 134--2324--2324--4543 像这种怎么改成数据库能导入的格式 (123, 324, 1231, 12323), 呢? ultraedit打开批量替换会处理不来。
Q315054403 2015-08-16
  • 打赏
  • 举报
回复
导入数据库,建立合理的索引,随便改呗 很多数据库都是数千万、数亿记录的,同样接受高并发修改、查询请求
fctudou 2015-08-16
  • 打赏
  • 举报
回复
写程序,部分读入,修改,再保存入另外一个文件。不然就会出现你这样的问题。 请问2楼有什么现成的工具没? 尝试了导入mysql数据库来修改,老出问题,应该是编码问题,不知道怎么解决 ERROR 1366 (HY000): Incorrect string value: '\xC3\xE3\xBF\xFC' for column 'usern ame' at row 1 另外有些数据记录字段不统一,导入数据来修改就比较麻烦了
shoppo0505 2015-08-16
  • 打赏
  • 举报
回复
写程序,部分读入,修改,再保存入另外一个文件。不然就会出现你这样的问题。
shallming_ma 2015-08-16
  • 打赏
  • 举报
回复
不知道楼主EXCEL是什么版本,本人现在用2013,可以处理的行数有140多万行,只是会比较慢,一般不会轻易使用而已.个人工作平日数据处理量在240万左右,习惯放进数据库批量处理比较方便而且一致,后期输出或者生成文件也比较方便,如果有特殊的处理要求不妨提出大家探讨.

22,300

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧