从数据库统计分析并将数据导入Excel速度慢

2010-09-22 08:53:10 187 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

如何处理多个一百万行excel表的数据分析在数据驱动的时代，处理大规模数据集的能力成为了企业和个人竞争力的重要组成部分。尤其是在日常工作中，我们经常需要处理包含数百万行数据的Excel文件。然而，当面临这样的大数据量时，传统的Excel工具往往显得力不从心，不仅处理速度慢，还容易崩溃。那么，如何高效地处理多个百万行的Excel表呢？本文将为你提供一些实用的方法和技巧。阅读详情

在统计时，需要用select count(*) 从数据库中读数据，然后写入Excel，但由于统计比较多，循环下来，就要执行上万条select count(*) 语句，使导出的速度特别慢，有没有什么方法可以提高一下导出的速度？我是这样做的，还没写完，有点乱，麻烦帮我看看，怎么提高一下速度

for (j = 0; j < answTDs.Tables[0].Rows.Count; j++)

                            {

                                excel.Cells[x + 3 + 2 * j, 2] = answTDs.Tables[0].Rows[j][0];

                                excel.Cells[x + 3 + 2 * j, 3] = "计数";

                                excel.Cells[x + 4 + 2 * j, 3] = "比例";

                                string dad = DateTime.Now.Date.ToShortDateString();



                                sqlStr = "select COUNT(*) from 提交答案表 where 项目编号='" + myDs.Tables[0].Rows[i][0] + "' and 题号=" + quesDs.Tables[0].Rows[m][1] + " and 选择信息 like '%(17(" + (j + 1) + "))%'";

                                sqlStr = sqlStr + " and [拨号标记]='完成'and 完成时间 between '" + DateTime.Now.Date.ToShortDateString() + " 00:00:00' and '" + DateTime.Now.Date.ToShortDateString() + " 23:59:59'";

                                SqlDataAdapter jsDa = new SqlDataAdapter(sqlStr, myConn);

                                DataSet jsDs = new DataSet();

                                jsDa.Fill(jsDs);

                                int total = Convert.ToInt32(jsDs.Tables[0].Rows[0][0]);

                                int z = 0;

                                for (z = 0; z < answDs.Tables[0].Rows.Count; z++)

                                {

                                    sqlStr = "select COUNT(*) from 提交答案表 where 项目编号='" + myDs.Tables[0].Rows[i][0] + "' and 题号=" + quesDs.Tables[0].Rows[m][1] + " and 选择信息 like '%(17(" + (j + 1) + "))%'";

                                    sqlStr = sqlStr + "and 选择项='" + (z + 1) + "' and [拨号标记]='完成'and 完成时间 between '" + DateTime.Now.Date.ToShortDateString() + " 00:00:00' and '" + DateTime.Now.Date.ToShortDateString() + " 23:59:59'";

                                    jsDa = new SqlDataAdapter(sqlStr, myConn);

                                    jsDs = new DataSet();

                                    jsDa.Fill(jsDs);

                                    excel.Cells[x + 3 + 2 * j, 4 + z] = jsDs.Tables[0].Rows[0][0];

                                    double percent = Convert.ToDouble(jsDs.Tables[0].Rows[0][0]) * 100 / Convert.ToDouble(total);

                                    excel.Cells[x + 4 + 2 * j, 4 + z] = percent.ToString("0.0") + "%";

                                }

                                excel.Cells[x + 3 + 2 * j, 4 + z] = total;

                                excel.Cells[x + 4 + 2 * j, 4 + z] = "100.0%";

                            }