2.1w+
社区成员
求编辑大文本数据的工具或者方法
最近要整理数据，很多都是几百万条记录的，excel只能6W多，虽然ultraedit能打开，很方便，可是我需求对这几百万条的数据记录做批量修改，操作以后一般都会出现未响应，基本编辑不了
有没有大侠知道方法或者工具
有没有大侠知道方法或者工具
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
Tiger_Zhao 2015-08-17
参考XML 格式化文件 (SQL Server)
你可以用 TERMINATOR = "--"来指定（除了行末字段的）分隔符。
你可以用 TERMINATOR = "--"来指定（除了行末字段的）分隔符。
xiaoxiangqing 2015-08-17
这么大的量，只能用语句直接修改吧
fctudou 2015-08-17
中文字符我改了下，好了。
有些数据不能直接导入数据库，要编辑格式才行， 比较我有个几十万条记录的记事本，几个字段都用空格或者其他符号分隔的，请问有什么办法能编辑成能导入数据的格式，例如：
原始文件格式
123--324--1231--12323
134--2324--2324--4543
像这种怎么改成数据库能导入的格式 (123, 324, 1231, 12323), 呢？ ultraedit打开批量替换会处理不来。
Q315054403 2015-08-16
导入数据库，建立合理的索引，随便改呗
很多数据库都是数千万、数亿记录的，同样接受高并发修改、查询请求
fctudou 2015-08-16
写程序，部分读入，修改，再保存入另外一个文件。不然就会出现你这样的问题。
请问2楼有什么现成的工具没？
尝试了导入mysql数据库来修改，老出问题，应该是编码问题，不知道怎么解决
ERROR 1366 (HY000): Incorrect string value: '\xC3\xE3\xBF\xFC' for column 'usern
ame' at row 1
另外有些数据记录字段不统一，导入数据来修改就比较麻烦了
shoppo0505 2015-08-16
写程序，部分读入，修改，再保存入另外一个文件。不然就会出现你这样的问题。
shallming_ma 2015-08-16
不知道楼主EXCEL是什么版本,本人现在用2013,可以处理的行数有140多万行,只是会比较慢,一般不会轻易使用而已.个人工作平日数据处理量在240万左右,习惯放进数据库批量处理比较方便而且一致,后期输出或者生成文件也比较方便,如果有特殊的处理要求不妨提出大家探讨.
入门学习Linux常用必会60个命令实例详解doc/txt 因为Linux与Windows不同，其后台运行着许多进程，所以强制关机可能会导致进程的数据丢失，使系统处于不稳定的状态，甚至在有的系统中会损坏硬件设备（硬盘）。在系统关机前使用 shutdown命令，系统管理员会通知所有...
Java基础知识面试题（2020最新版） 文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些特点什么是字节码？采用字节码的最大好处是什么什么是Java程序的主类？应用程序和小程序的...
C语言程序设计第五版 谭浩强 第五版课后答案 3.求两个正整数m和n，求其最大公约数和最小公倍数。 #include<stdio.h> void main() { int m, n, t, i, a = 1; scanf("%d%d", &m, &n); if (m < n) { t = m; m = n; n = t; } for (i ....
文本数据标注工具Doccano doccano是一个开源文本标注工具。 它提供了文本分类，序列标注和序列到序列的标注功能。 因此，您可以为情绪分析，命名实体识别，文本摘要等创建标记数据。 只需创建项目，上传数据并开始标注。 总结下来就3步，...
小甲鱼零基础入门学习python笔记 小甲鱼老师零基础入门学习Python全套资料百度云(包括小甲鱼零基础入门学习Python全套视频+全套源码+全套PPT课件+全套课后题及Python常用工具包链接、电子书籍等）请往我的资源... 000 愉快的开始 ...
Linux下的文本编辑工具 - vi 本文关键字：文本编辑、vi、普通模式、编辑模式、命令模式。由于Linux系统“一切皆配置”的特性，我们经常要去修改各种软件及服务的配置文件，因此掌握最基本的编辑工具是十分必要的。在装了桌面的Linux系统中我们...
批量大文本筛选过滤工具开发记录 批量大文本筛选过滤工具开发记录本周花了两三天的时间做了一个大文本数据筛选工具，主要是针对excel打开很慢或者无法打开的几百兆乃至几G的csv、txt文件，提供常规的数据筛选、统计和输出功能。这个大文本筛序需求对...
Linux常用文本编辑工具及常用指令 sedsed是一种流式编辑器，是一种文本编辑工具，以行为单位进行文本操作。sed默认按照basic规则进行匹配。 常用的命令格式如下：sed option '/pattern/action' filepattern：为一个正则表达式，用来匹配所要操作的...
Oracle ORACLE 快速批量导入文本数据到数据库(sqlldr工具)方法与分析 (Windows CMD 方式) Oracle ORACLE 快速批量导入文本数据到数据库(sqlldr工具)方法与分析 (Windows CMD 方式) 在实际生产环境中，常会碰到将一些如通过通讯接口传过来的数据（文本文件 txt）可能会有大批量数据进行数据导入，也许超过...
富文本编辑器内容存储至Mysql 文章目录概述获取富文本编辑器内容后端数据处理 概述 在所有的编辑器中，大概最受欢迎的就是富文本编辑器和MarkDown编辑器了，无论哪一种编辑器，我们需要知道的是，发给后端的内容是带着html标签的字符串，而我们...
OSM OpenStreetMap 获取城市路网数据及转为ESRI shp数据的方法 2006年4月，OpenStreetMap基金会成立，鼓励自由地理数据的增长，发展和分布，并向所有人提供地理数据以供使用及分享。 OSM官方介绍网页： http://wiki.openstreetmap.org/wiki/Zh-ant:Map_Features#.E9.81.9...
Shell常用文本编辑工具（1） 首先安利一下吴军老师的...cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。 1.1 基本用法 cut [选项参数] filename 说...
Linux中几个简单实用的文本处理工具 目录 文件查看： cat rev 分页查看文件内容： ...显示文本前或者后行的内容 ...在Linux中有许多可以抽取文本的工具，熟悉掌握这些使用的小工具，能极大的提高工作效率。下面对这几个工具做简...
linux系统三大文本处理工具grep、sed及awk的简单介绍 grep、sed和awk都是文本处理工具，虽然都是文本处理工具单却都有各自的优缺点，一种文本处理命令是不能被另一个完全替换的，否则也不会出现三个文本处理命令了。只不过，相比较而言，sed和awk功能更强大而已，且已...
免费JS富文本编辑器 总有一款会适合你 我们平常在页面上写文章 或者 后台发布文章内容、或内容描述等、一直都是用的是富文本编辑器,包括很多论坛发帖的文字窗口也是典型的富文本编辑器, 它跟office中的word界面非常类似! 富文本编辑器的使用是与word...
linux文本编辑器 文本编辑器 vi vim是vi增强版 vim需要安装 sudo apt-get -y install vim vim的三种工作模式 1 编辑模式 命令模式=>编辑模式iaos 按键 作用 i 在光标当前位置插入文本 a 光标的下一...
Bootstrap -- 富文本编辑器bootstrap-wysiwyg的使用方法 最近公司需要做一个文本编辑器，由于我们使用的bootstrap的框架，所以选择了使用bootstrap-wysiwyg的轻量级的插件，研究这个插件花费了我一些时间，接下来记录我走过的坑，希望对大家有用： 1.需要在index.html页面...
在线sql编辑查询工具sql-editor sql-editor是基于CodeMirror的一个在线sql编辑工具，模仿navicat工具，开发的一个简易版。 目前只提供前端代码，由easy-mock提供json测试数据。 Github地址: https://github.com/xiweile/sql-editor 博客：...
