社区
疑难问题
帖子详情
求编辑大文本数据的工具或者方法
fctudou
2015-08-15 05:26:42
最近要整理数据,很多都是几百万条记录的,excel只能6W多,虽然ultraedit能打开,很方便,可是我需求对这几百万条的数据记录做批量修改,操作以后一般都会出现未响应,基本编辑不了
有没有大侠知道方法或者工具
...全文
109
7
打赏
收藏
求编辑大文本数据的工具或者方法
最近要整理数据,很多都是几百万条记录的,excel只能6W多,虽然ultraedit能打开,很方便,可是我需求对这几百万条的数据记录做批量修改,操作以后一般都会出现未响应,基本编辑不了 有没有大侠知道方法或者工具
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Tiger_Zhao
2015-08-17
打赏
举报
回复
参考
XML 格式化文件 (SQL Server)
你可以用
TERMINATOR = "--"
来指定(除了行末字段的)分隔符。
xiaoxiangqing
2015-08-17
打赏
举报
回复
这么大的量,只能用语句直接修改吧
fctudou
2015-08-17
打赏
举报
回复
中文字符我改了下,好了。 有些数据不能直接导入数据库,要编辑格式才行, 比较我有个几十万条记录的记事本,几个字段都用空格或者其他符号分隔的,请问有什么办法能编辑成能导入数据的格式,例如: 原始文件格式 123--324--1231--12323 134--2324--2324--4543 像这种怎么改成数据库能导入的格式 (123, 324, 1231, 12323), 呢? ultraedit打开批量替换会处理不来。
Q315054403
2015-08-16
打赏
举报
回复
导入数据库,建立合理的索引,随便改呗 很多数据库都是数千万、数亿记录的,同样接受高并发修改、查询请求
fctudou
2015-08-16
打赏
举报
回复
写程序,部分读入,修改,再保存入另外一个文件。不然就会出现你这样的问题。 请问2楼有什么现成的工具没? 尝试了导入mysql数据库来修改,老出问题,应该是编码问题,不知道怎么解决 ERROR 1366 (HY000): Incorrect string value: '\xC3\xE3\xBF\xFC' for column 'usern ame' at row 1 另外有些数据记录字段不统一,导入数据来修改就比较麻烦了
shoppo0505
2015-08-16
打赏
举报
回复
写程序,部分读入,修改,再保存入另外一个文件。不然就会出现你这样的问题。
shallming_ma
2015-08-16
打赏
举报
回复
不知道楼主EXCEL是什么版本,本人现在用2013,可以处理的行数有140多万行,只是会比较慢,一般不会轻易使用而已.个人工作平日数据处理量在240万左右,习惯放进数据库批量处理比较方便而且一致,后期输出或者生成文件也比较方便,如果有特殊的处理要求不妨提出大家探讨.
Java OCR 图像智能字符识别技术,可识别中文
Java OCR 图像智能字符识别技术,可识别中文。具体详见:http://blog.csdn.net/white__cat/article/details/38461449
文本
数据
标注
工具
Doccano
doccano是一个开源
文本
标注
工具
。 它提供了
文本
分类,序列标注和序列到序列的标注功能。 因此,您可以为情绪分析,命名实体识别,
文本
摘要等创建标记
数据
。 只需创建项目,上传
数据
并开始标注。 总结下来就3步,上传
数据
,标注,下载带有标签的
数据
。 命名实体识别 第一个演示是序列标记任务之一,命名实体识别。 您只需选择
文本
跨度并对其进行标注即可。 由于doccano支持快捷...
批量大
文本
筛选过滤
工具
开发记录
批量大
文本
筛选过滤
工具
开发记录本周花了两三天的时间做了一个大
文本
数据
筛选
工具
,主要是针对excel打开很慢或者无法打开的几百兆乃至几G的csv、txt文件,提供常规的
数据
筛选、统计和输出功能。这个大
文本
筛序需
求
对生产中的
数据
挑选和
数据
分析来说是比较常见的。本文就开发的过程简单记录如下: 使用什么开发语言? 怎样保证用户体验? 如何维护优化? 使用什么开发语言?这问得有点像是废话。我很熟悉Python
Emeditor——支持超大文件的
文本
编辑
器
用过GVIM、notepad++、Sublime Text 、Vscode、Atom等软件,这些软件要不打开大文件卡顿,无法
编辑
文件,要么就根本打不开大
文本
文件。EmEditor 能打开非常大的文件 ,大到 16 TB 或 1.09 兆行 , 而且只占用一点内存,让您能随心所欲地处理任何大小的文件。EmEditor免费版已经足够使用了,如果你想使用EmEditor提供的其他强大功能,就得购买专业版授权了。以上是官方的介绍,最近下载安装试用了一下,觉得确实好用,名不虚传,特推荐给大家使用。
Linux下的
文本
编辑
工具
- vi
本文关键字:
文本
编辑
、vi、普通模式、
编辑
模式、命令模式。由于Linux系统“一切皆配置”的特性,我们经常要去修改各种软件及服务的配置文件,因此掌握最基本的
编辑
工具
是十分必要的。在装了桌面的Linux系统中我们可以使用gedit等
工具
,像使用记事本一样直接
编辑
文件中的内容。但是在生产环境中,通常我们都需要远程连接到一台机器,全部要在命令模式下操作,而且服务器本身也有可能没有安装桌面。
疑难问题
22,300
社区成员
121,734
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章