大数据量 的excel读取时报内存溢出

[深蓝夜夜]

读取一个数据量大的excel文档,目前有10W条,还在持续增长 ,创建HSSFWorkbook wb = new HSSFWorkbook(fs); 对象时 内存溢出
求个解决方案

[杭州老菜鸟]

10W条就溢出了？调大内存

[漫天雪_昆仑巅]

你是一次性把10w都加载到内存里啊！

[zdb814390564]

分批导出，比如要导出10w条，分10次导出，一次1w条。就是时间久点

[xuyelong1]

使用POI的CVS模式处理大数据XLSX文件。

[xuyelong1]

 private static List<String[]> readerExcel(String path, String sheetName,  
            int minColumns) throws IOException, OpenXML4JException,  
            ParserConfigurationException, SAXException {  
        OPCPackage p = OPCPackage.open(path, PackageAccess.READ);  
        XLSXCovertCSVReader xlsx2csv = new XLSXCovertCSVReader(p, System.out,  
                sheetName, minColumns);  
        List<String[]> list = xlsx2csv.process();  
        p.close();  
        return list;  
    }  

[Mr_yyy]

10W条应该不会溢出的（以前做过这方面的数据导入），是不是楼主的哪里操作不对？

[mqmmx]

excel的文件可以用ado.net 的方法读啊， 把sheet当成是数据表，直接sql 就行了。性能比office组件好得多

[小龙在线]

要导入数据库吗？很多工具可以直接用的

[Jx0000000000000]

[dylan_ovo]

 
using Aspose.Cells;
 public DataSet ReadExcel()
        {
            try
            {
                DataSet ds = new DataSet();
                Worksheet sheet = null;
                Workbook book = new Workbook();
                string excelPath = AppDomain.CurrentDomain.BaseDirectory + "Data\\html\\" +
                                   HttpUtility.UrlDecode("国内进程.xlsx");
                book.Open(excelPath);
                for (int i = 0; i < book.Worksheets.Count; i++)
                {
                    sheet = book.Worksheets[i];
                    DataTable dtTemp = new DataTable();
                    dtTemp.TableName = sheet.Name;
                    for (int x = 0; x < sheet.Cells.MaxDataRow + 1; x++)
                    {
                        DataRow dRow = null;
                        for (int y = 0; y < sheet.Cells.MaxDataColumn + 1; y++)
                        {
                            string value = sheet.Cells[x, y].StringValue.Trim();
                            if (x == 0)
                            {
                                DataColumn dCol = new DataColumn(value);
                                dtTemp.Columns.Add(dCol);
                            }
                            else
                            {
                                if (y == 0)
                                    dRow = dtTemp.NewRow();

                                dRow[y] = value;
                            }
                        }
                        if (dRow != null)
                        {
                            dtTemp.Rows.Add(dRow);
                        }
                    }
                    ds.Tables.Add(dtTemp);
                }
                sheet = null;
                book = null;
                return ds;
            }
            catch (Exception ex)
            {
                LogHelper.WriteLog("ReadExcel方法异常", ex);
                return null;
            }

        }

[简简简简丶单单]

调eclipse 调tomcat 调jvm 用sxssf

[微甜灬呼吸]

我也碰到过poi导出时内存溢出的时候 后来的方案是分多个导出 感觉poi导出的时候吃的内存 比导出的文件大好多倍 ╮(╯▽╰)╭

[tony4geek]

你的数据是10万条然后写到excel里面?

[wrong1111]

以前XLS一个页面的数据最大36556行记录。后来可以无限大。但是不建议全部写到一个标签页里面。 每3万行或者10万行写入一个标签页。 另外数据可以一次几千几万循环处理。不需要全部加载到内存。

[希咚的故事]

poi有专门针对大数量处理的类,可以关注下