社区
Java SE
帖子详情
数据库导出到文本
swoky
2009-01-16 09:23:58
一张表中有50W条记录(也可能上百万),字段有20个左右,现在要把所有记录导出到txt文本,一条记录一行
请问怎么做才能使效率最高????而不使系统挂掉,mysql的数据库,好像没有存储过程吧.
还有我现在的想法是一次读一部分记录写到文件,但是该一下读多少最合适呢?
...全文
93
13
打赏
收藏
数据库导出到文本
一张表中有50W条记录(也可能上百万),字段有20个左右,现在要把所有记录导出到txt文本,一条记录一行 请问怎么做才能使效率最高????而不使系统挂掉,mysql的数据库,好像没有存储过程吧. 还有我现在的想法是一次读一部分记录写到文件,但是该一下读多少最合适呢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
13 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
swoky
2009-01-20
打赏
举报
回复
谢谢各位了,最后我是一次读一W条,速度还算可以
dehua007
2009-01-20
打赏
举报
回复
50w,也不是很多,写个小程序让它自己导出好了。几行代码就搞定了。网速可以的话一会就能导出来。
南京创业者
2009-01-19
打赏
举报
回复
系统用个专门的线程来分页做
每次读出多少?
这个得具体看你内存与cpu还有的硬盘转速
怎么算,俺不会~
ps:LZ你这个问题问的真没水准,每个系统优化参数100%不一样,自己多试试不就知道了么~哪来那么多运维经验的人呢=。=
leo_bogard
2009-01-19
打赏
举报
回复
up
msoss
2009-01-19
打赏
举报
回复
用分页的方法吧.确实比较好,每页建议在1000条左右,具体你要试试.顺畅执行就好.
jinhuiyu
2009-01-17
打赏
举报
回复
用Ant加Groovy应该可以 不用用到服务器资源
给你一个例子:
http://blog.csdn.net/jinhuiyu/archive/2008/12/17/3539067.aspx
kokobox
2009-01-17
打赏
举报
回复
你用的是mysql数据库
你可以分页读取并写入
如果是oracle数据库的话用工具可以直接导出到Excel文件,用存储过程也可以直接写到文本文件,有相应的方法。
我怀疑mysql可能也会有相应的工具吧,呵呵,只是怀疑,不是很熟悉mysql。建议你先到网上找一找有没有工具
如果其他办法都没了,再分页写入吧。至于每页多大就要看你系统了
pxcong007
2009-01-17
打赏
举报
回复
有必要学习下分页了
guoxyj
2009-01-17
打赏
举报
回复
10000
xiaoxuanfengsyn
2009-01-17
打赏
举报
回复
考虑数据的特点,分开导入!!
csdsaddddddddddddd32
2009-01-17
打赏
举报
回复
牛牛
hejia12
2009-01-16
打赏
举报
回复
这个具体的数字你要摸索了..我们在服务器上处理数据也是一把5000条,当然这个数字也是我们摸索的结果。
你可以加rownum<2000;这样的条件来限制返回记录数嘛...
sql
数据库
导出
到txt文件
连接到sql sever 2000
数据库
并将
数据库
中文件写入txt中,并调整
文本
的格式
sqleditor 一个用c#写的db2客户端工具(原创)
一个用.net2.0写的db2
数据库
客户端工具支持代码提示,支持批量执行sql,支持单表查询下的全表格编辑,支持
导出
excel和insert语句。自己写的用着就是比较爽,呵呵,需要.net2.0的支持
sql server 系列课程
数据库
维护篇
本课程重点讲解了关于sql server 的四个方面,第一个是
数据库
的创建以及维护,第二个部分主要讲解了表的建立和维护,第三个部分重点讲解了
数据库
的备份还原,导入
导出
,分离附加等相关知识,第四个部分重点讲解了...
数据库
导出
数据到
文本
文件的两种方式
第一种为
数据库
手动操作 在所在文件新建一个目标
文本
文件, 选择所要
导出
的目标
数据库
,右键目标
数据库
→任务→
导出
数据 点击下一步 选择windows登陆或者sql server登陆,在最下面的
数据库
中选择源
数据库
,下一步,选择目标类型为“平面文件目标” 文件路径选择要
导出
的文件路径,选择刚刚新建的
文本
文件
数据库
导出
的excel
文本
变为科学计数法
场景
数据库
导出
的excel
文本
变为科学计数法。 解决方案 在excel中设置为
文本
可以吗? 实测不行,因为
导出
的时候精度已经丢失,即使变为
文本
,最后3位会变为0,并不准确。 那么需要在
导出
前就对数据进行处理,查询语句中对需要变为
文本
的字段加concat,如: select concat('\t',a.taxno) from t_org; 这样
导出
的excel中,数值前面有\t,不会用科学计数法。然后全局搜索\t,替换为空即可。 ......
Java SE
62,614
社区成员
307,326
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章