社区
Java SE
帖子详情
大量数据导出问题
zhanggc1001
2009-08-26 11:15:36
把从视图检索出的数据导出成文件
但导出的数据量过大,引起内存溢出,这样就需要分批导出
在导出的过程中不能向视图中关联的表做插入操作,影响导出结果
我的问题是,这样的导出该怎样进行
...全文
132
7
打赏
收藏
大量数据导出问题
把从视图检索出的数据导出成文件 但导出的数据量过大,引起内存溢出,这样就需要分批导出 在导出的过程中不能向视图中关联的表做插入操作,影响导出结果 我的问题是,这样的导出该怎样进行
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
woming66
2009-08-26
打赏
举报
回复
[Quote=引用 5 楼 zhanggc1001 的回复:]
我想也是应该加锁,但是要怎样加锁啊?对视图中的所有表加锁?
不知道有没有对视图加锁的功能
[/Quote]
一般都对表加锁,好像没有对视图加锁的,去网上找找吧,根据你持久层框架不同,加锁的方法也不同!
zhanggc1001
2009-08-26
打赏
举报
回复
我想也是应该加锁,但是要怎样加锁啊?对视图中的所有表加锁?
不知道有没有对视图加锁的功能
lijing0511
2009-08-26
打赏
举报
回复
加个锁上去嘛
woming66
2009-08-26
打赏
举报
回复
[Quote=引用 2 楼 zhanggc1001 的回复:]
引用 1 楼 hotleavegjz 的回复:
不知道你采用的是什么数据库, 采用分页的道理, 每次读取一定数量的记录, 然后将这些记录写到文件后再进行下一次读取操作.
oracle 我知道是用分页原理,但是在导出的过程中又对视图的关联表做插入操作,这样不就影响导出数据的正确性了么???
[/Quote]
加锁啊!
zhanggc1001
2009-08-26
打赏
举报
回复
[Quote=引用 1 楼 hotleavegjz 的回复:]
不知道你采用的是什么数据库, 采用分页的道理, 每次读取一定数量的记录, 然后将这些记录写到文件后再进行下一次读取操作.
[/Quote]
oracle 我知道是用分页原理,但是在导出的过程中又对视图的关联表做插入操作,这样不就影响导出数据的正确性了么???
hotleavegjz
2009-08-26
打赏
举报
回复
不知道你采用的是什么数据库, 采用分页的道理, 每次读取一定数量的记录, 然后将这些记录写到文件后再进行下一次读取操作.
hiboys
2009-08-26
打赏
举报
回复
加锁怕影响业务的话快照也可以
C# 快速
导出
大量
数据
至Excel2007和2003(原码)
C#
导出
大数量
数据
Excel2007和2003 6万行以上1秒
大量
数据
导出
Excel方案
序 最近可能会遇到
大量
数据
导出
Excel的场景,今天趁现在需求告一段落来做下技术预研,然后这里就顺便分享给大家。 一、
数据
量预判 因为我们是做物联网的,这里要
导出
的
数据
就是设备的上报
数据
。客户说要这些
数据
导出
成excel进行分析,又或是其他什么原因,咱不管。咱就分析下
数据
量,目前设备数量1500,2小时上报一次
数据
(最小可设置为半小时),要求可以
导出
3年的
数据
。
数据
量初步估算:1500 * 12 * 30 * 12 * 3 = 19,440,000 ,设备而且据说还要上,所以估计
数据
量就是千万级吧。 现在
java
大量
数据
导出
到Excel
java
大量
数据
导出
到Excel
【python Excel】如何使用python将
大量
数据
导出
到Excel中的小技巧之一
如何使用python将
大量
数据
导出
到Excel中的小技巧 python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl, 但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件, xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。 因此面对需要
导出
大量
数据
到excel的情况,
记录一次Mysql
大量
数据
导出
本次的Mysql
导出
让我感受到了,知识就是力量!!……
大量
的
数据
通过Navicat
导出
在进行导入会花费巨量的时间,本次我
导出
的sql文件有1G多,我用命令:source XX.sql 运行了一天一夜都没有导完,被迫中止。。。。 人间正道:
数据
表
数据
导出
: mysqldump -u用户 -p密码
数据
库 表名称>
导出
的文件名称.sql mysqldump -uroot -proot voice_data_2021 202110_screen > 202110_screen.sq
Java SE
62,614
社区成员
307,327
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章