社区
数据库相关
帖子详情
大数据量写入,请教下如何优化?
油炸小波
2019-07-18 08:57:26
需求:
用户点击“下载”按钮,需要将Oracle数据库中200W条数据,下载到指定位置,文件的后缀名需要是指定的 .xxx。
现在的实现思路:
一次从数据库读1W条,写入完成后继续读下1W条,追加写入
缺点:
时间占用太久,用户并发下载的时候,服务器可能会崩掉
请教下该如何优化?
...全文
369
3
打赏
收藏
大数据量写入,请教下如何优化?
需求: 用户点击“下载”按钮,需要将Oracle数据库中200W条数据,下载到指定位置,文件的后缀名需要是指定的 .xxx。 现在的实现思路: 一次从数据库读1W条,写入完成后继续读下1W条,追加写入 缺点: 时间占用太久,用户并发下载的时候,服务器可能会崩掉 请教下该如何优化?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
悟道|养家
2019-08-09
打赏
举报
回复
感觉可以用shell导出的思路
p47655255
2019-07-19
打赏
举报
回复
直接用oracle自己的命令 exp 导出 可以吗?
天行归来
2019-07-19
打赏
举报
回复
如果所有用户下载的副本都一样,可以用后台程序检测未导出或数据有更新重新导出并压缩,其他用户直接下载就可以。
sqlserver表数据插入到oracle表中的一种实现方式(表结构相同)
最近由于应急,需要把sqlserver表和表数据在oracle中复制一份。表结构的创建比较简单,但是表的数据
量
太大,一时也想不到怎么把sqlserver表数据复制到oracle中,于是
请教
公司主管,用存储过程实现可以查询出所有数据的insert脚本,在oracle库中创建好表,直接把sqlserver中的insert脚本复制到oracle执行就可以批
量
添加了。
EasyExcel
写入
大数据
量
遇到的坑
EasyExcel
写入
大数据
量
可能会遇到的问题
JAVA关于
大数据
量
的同步处理的一些问题
1.
大数据
量
重一个系统同步到另一个系统,在数据
量
过大的情况下,需要全
量
覆盖或增
量
更新,代码按照之前那种逻辑写的话就会出现脏数据的问题。 1.1:无需验证重复【全
量
覆盖】 第一次代码: 在代码的逻辑里面,我直接再serviceimpl里面写了,先删除后插入的操作 for循环{ delete(数据库老数据); insert(新数据); } ---出现的问题:前端超时,后端代码运行也会超时 第二次代码重构: 这次把插入的方法加了异步注解 for循环{ delete(数据库老数据); this.insert(新数
java数据excel,java 输入excel表格数据-java大
量
数据
写入
Excel表格数据不见了
用java编写代码按照正确格式读取完整excel表格的数...jxl或者poi,网上到处能下载.jxl,最常用的excel处理api,纯java,跨平台,对图片支持差,只能读写pngpoi,apache的开源项目,功能比jxl强大,但是在处理单元格类型方面有些问题,经常分不清是""还是null.java大
量
数据
写入
Excel表格数据不见了//以下为我在项目中运用的jxl的核心代码try{Wor...
Flink流式处理百万数据
量
CSV文件
前言 最近公司让做一个'没有必要'的需求 需求针对的对象 这是同一个csv文件的不同展示形式 Excel展示形式 文本展示形式 这个csv文件中可能有数百万条数据 需求 将所有的异常数据检测出来 什么样的数据是异常数据 圈红的数据我手动添加了一个a 原本是数字类型 现在变成了一个字符串类型 那么程序中将字符串类型转换为数字类型的话 就会报错 那这个值就是异常数据 为什么我说是 '没有必要的需求' 百万级别的数据
量
的csv一般都是由数据库导出来的 数据库的列字段都是定义好的 比如是decima
数据库相关
2,498
社区成员
88,445
社区内容
发帖
与我相关
我的任务
数据库相关
Delphi 数据库相关
复制链接
扫一扫
分享
社区描述
Delphi 数据库相关
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章