3万-10万数据导出excel

2009-09-21 01:15:08 684 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

ArcGIS Pro 3.0 表转Excel工具：处理10万+记录的性能对比与最佳实践本文深入探讨ArcGIS Pro 3.0表转Excel工具在处理10万+记录时的性能表现与优化策略。通过基准测试揭示.xlsx与.xls格式的差异，提供分块处理脚本、字段预处理等工程化解决方案，并分享数据库协同工作流等高级技巧，帮助GIS分析师大幅提升大数据导出效率。阅读详情

先从数据库查询出数据保存到list然后写入excel这样的做法很慢很卡很天真

...全文

vue3+ant design实现表格数据导出Excel 今天终于有时间来更新文章了，最近公司项目比较紧急，再加上自己要准备毕设答辩，所以都没啥自己的空余时间，这几天自己做的任务也完成的差不多了，之前已经更新过表格数据的增删改查，今天就来讲一下如何实现表格数据的导入吧，原本想把导出也一起写的，但是两者涉及的知识点比较多，所以就分开来阐述。因为刚开始自己做这个的时候也是小白，也浏览了很多大佬的技术博客，通过不断地总结和修改才积累了有关这个功能的经验，希望我的文章能够帮到更多的小伙伴呀，一起不断学习吧！提示：以下是本篇文章正文内容，下面案例可供参考。阅读详情

twinsshehp

Java EE 67,535 成员 225,843 内容

+ 关注 + 加入社区

切换为时间正序

Lorraine8 2011-09-14

打赏
举报

求详解！！！！

[Quote=引用 1 楼 daisycool 的回复:]
分页每次读1000条写入，很快，很顺，很成熟
[/Quote]

twinsshehp 2009-10-07

打赏
举报

[Quote=引用 24 楼 sqz10200 的回复:]
要导出你那么多的数据没有问题

第一：先看你喝数据库连接方式了
hibernate做起来存在缓存问题，我做的时候没解决掉，所以值成功导出了6W左右的数据
JDBC，JNDI都可以了··不存在缓存问题。

我是用POI进行导出，可能会比JExcel会慢一些，但是分Sheets导出没有问题，10W更多的我也导出过。

你想导出多少更多在于你的JVM，和样式的控制上，

如果不存在样式的控制，建议导出csv的格式，实际上都是Excel

而且会比POI导出要快。

关键在于你的代码上的控制··控制号了··就能导出··我当时导出了14个列的数据每次6W

10秒多，虽然慢了些··对于POI来说不错了··

你的那些数据也是OK的。

还有我告诉你一下理论上Excel最多可存放32个页吧，每页6。5W条

就是说100W数据页ok，但是想实现是不可能的···所以呢··你的10W没有问题的·
[/Quote]

导出CSV格式怎么导出我之前是用流导出的没用POI 能给具体小例子吗说了小弟还在练剑法阶段大哥给个小例子先我邮箱735062915@qq.com

ajixiea 2009-10-06

打赏
举报

使用文件流写入Excel, 不要使用OLE写入!

sqz10200 2009-10-05

打赏
举报

要导出你那么多的数据没有问题

第一：先看你喝数据库连接方式了
hibernate做起来存在缓存问题，我做的时候没解决掉，所以值成功导出了6W左右的数据
JDBC，JNDI都可以了··不存在缓存问题。

我是用POI进行导出，可能会比JExcel会慢一些，但是分Sheets导出没有问题，10W更多的我也导出过。

你想导出多少更多在于你的JVM，和样式的控制上，

如果不存在样式的控制，建议导出csv的格式，实际上都是Excel

而且会比POI导出要快。

关键在于你的代码上的控制··控制号了··就能导出··我当时导出了14个列的数据每次6W

10秒多，虽然慢了些··对于POI来说不错了··

你的那些数据也是OK的。

还有我告诉你一下理论上Excel最多可存放32个页吧，每页6。5W条

就是说100W数据页ok，但是想实现是不可能的···所以呢··你的10W没有问题的·

amdgaming 2009-10-05

打赏
举报

代码的好坏决定你导出质量啊。

xiaozhangnima 2009-10-05

打赏
举报

学习

twinsshehp 2009-10-05

打赏
举报

怎么导出我要具体代码小弟还在练剑法的阶段还没达到练意境的境界楼上的大哥行行好

liulee 2009-09-29

打赏
举报

导出文件为 cvs 格式, 直接用excel打开. 简单的文本流写入.

twinsshehp 2009-09-29

打赏
举报

铁匠梁 2009-09-24

打赏
举报

分批处理，一次10000条保存一次，建议多sheet操作，每个sheet的记录数最多65535，所以建议多建sheet。

urbutifl 2009-09-24

打赏
举报

[Quote=引用 7 楼 twinsshehp 的回复:]
引用 1 楼 daisycool 的回复:
分页每次读1000条写入，很快，很顺，很成熟

大哥别个就是要看这么多数据要能分页我会这么痛苦你很幽默
[/Quote]

为什么不能分页？

twinsshehp 2009-09-24

打赏
举报

lishigui 2009-09-24

打赏
举报

最后一个参数是文件名，文件存放select语句，一个select一行，例如：

select * from dual where rownum >0 and rounum < 30000
selecdt * from dual where rownum >30000 and rounum < 60000
selecdt * from dual where rownum >60000 and rounum < 90000

lishigui 2009-09-24

打赏
举报

上面代码希望对你有用

lishigui 2009-09-24

打赏
举报

import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.Date;

import jxl.Workbook;
import jxl.format.Colour;
import jxl.format.UnderlineStyle;
import jxl.write.Label;
import jxl.write.WritableCellFormat;
import jxl.write.WritableFont;
import jxl.write.WritableSheet;
import jxl.write.WritableWorkbook;
import jxl.write.WriteException;
import jxl.write.biff.RowsExceededException;

public class bakup_bat {
private String file=null;
private String username="";
private String password="";
private String database="";
private int r=0;
private String url = "jdbc:oracle:thin:@skt00146.ebs.jcb.co.jp:1571:";
public bakup_bat(String username,String password,String database,String file){

this.username=username;
this.password=password;
this.database=database;
this.file = file;
run();
}

public void run(){
try {
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection conn = DriverManager.getConnection(url+database,username,password);
Statement stmt=conn.createStatement();

Date date=new Date();
WritableWorkbook book = Workbook.createWorkbook( new File(file.substring(0,file.indexOf("."))+""+date.getTime()+".xls"));
WritableSheet sheet = book.createSheet("lsgBackupDB" , 0 );

FileReader in = new FileReader (file);
BufferedReader inLine = new BufferedReader(in);
String line = inLine.readLine();
while(line!=null){
ResultSet rs = stmt.executeQuery(line.trim());
ResultSetMetaData meta;

Label label;
WritableFont fonthead;
WritableCellFormat formathead;
WritableFont fontsql;
WritableCellFormat formatsql;
meta = rs.getMetaData();
fonthead = new WritableFont(WritableFont.TIMES, 10 ,WritableFont.NO_BOLD);
formathead = new WritableCellFormat(fonthead);
formathead.setBackground(Colour.GREY_25_PERCENT);
fontsql = new WritableFont(WritableFont.TIMES, 12 ,WritableFont.BOLD,false,UnderlineStyle.NO_UNDERLINE,Colour.BLUE);
formatsql = new WritableCellFormat(fontsql);
formatsql.setBackground(Colour.YELLOW);

label=new Label(0,r++,line.trim(),formatsql);
sheet.addCell(label);
int columnCount = meta.getColumnCount( );
for(int k=0;k<columnCount;k++){
label=new Label(k,r,meta.getColumnName(k+1),formathead);
sheet.addCell(label);
}
r++;
while(rs.next()){
for(int j=0;j<columnCount;j++){
if(rs.getString(j+1)==null){
label=new Label(j,r,"");
sheet.addCell(label);
}else{
label=new Label(j,r,rs.getString(j+1));
sheet.addCell(label);
}
}
r++;
}
r++;

line = inLine.readLine();
}
inLine.close();
in.close();
book.write();
book.close();
stmt.close();
conn.close();

} catch (IOException e) {
e.printStackTrace();
} catch (RowsExceededException e) {
e.printStackTrace();
} catch (WriteException e) {
e.printStackTrace();
} catch (SQLException e) {
e.printStackTrace();
} catch (ClassNotFoundException e) {
e.printStackTrace();
}

}
public static void main(String[] args) {

new bakup_bat(args[0],args[1],args[2],args[3]);
}

}

twinsshehp 2009-09-21

打赏
举报

[Quote=引用 11 楼 sunnylyy 的回复:]
几万条估计大约要一分钟吧,可以友好一点做个进度条.

实现不行考虑使用下数据库本身提供的导出文件机制吧，也许能快点
[/Quote]

怎么使用你不会是要我去教客户从数据库导出excel吧

sunnylyy 2009-09-21

打赏
举报

几万条估计大约要一分钟吧,可以友好一点做个进度条.

实现不行考虑使用下数据库本身提供的导出文件机制吧，也许能快点

twinsshehp 2009-09-21

打赏
举报

[Quote=引用 9 楼 sunnylyy 的回复:]
引用 7 楼 twinsshehp 的回复:
引用 1 楼 daisycool 的回复:
分页每次读1000条写入，很快，很顺，很成熟

大哥别个就是要看这么多数据要能分页我会这么痛苦你很幽默

不是让你搞分页处理，是让你每次从结果集里面取出1000条放到内存中，然后追加到文件中去，如此循环直到结果集为空。还明白?
[/Quote]

基本没什么用依然这么慢这么卡

sunnylyy 2009-09-21

打赏
举报

[Quote=引用 7 楼 twinsshehp 的回复:]
引用 1 楼 daisycool 的回复:
分页每次读1000条写入，很快，很顺，很成熟

大哥别个就是要看这么多数据要能分页我会这么痛苦你很幽默
[/Quote]

不是让你搞分页处理，是让你每次从结果集里面取出1000条放到内存中，然后追加到文件中去，如此循环直到结果集为空。还明白?

twinsshehp 2009-09-21

打赏
举报

[Quote=引用 2 楼 java2000_net 的回复:]
1 Excel最大允许6万条，所以你的10万条是不现实的，必须得分Sheet
2 先读取，再写入，从OO的角度讲，一点问题没有，但从实际应用的角度讲，你至少可以
a) 将输出流直接发给数据库导出层，其直接写出
b) 数据库层将数据另村为一个临时文件，导出层再操作这个文件好了(InputStrem 到 OutputStream)

[/Quote]

大侠按你的说法可以间接的让数据库区导出我连excle模板都不用读取了怎么可以做到具体代码
俺是菜菜而且现在项目要的很急

加载更多回复（7）

3万-10万数据导出excel

相关推荐