关于多线程查询数据填充dataset,并做处理的问题

灰太狼已不再单身 2014-06-10 10:23:58
我要查询数据库的数据来生成XML,有两种方式,一种是 cs里面生成,一种是数据库生成。总的数据有七八万条。因为xml有特定的格式要求,我感觉,数据库生成与cs生成xml效率方面应该没多大区别,那么,我现在就遇到问题了。查询数据不用显示到UI。
1.如果依次查询数据,填充dataset,然后生成xml,当某个dataset 执行查询填充时,耗时要几分钟,很慢。
2.如果用多线程来查询数据填充dataset,那么,必须要在某个线程执行完成之后,才可以对这个dataset执行处理,否则就会导致表为空。
请问:你们有啥好的解决方案没有?
代码如下,后面的三个查询,数据量基本都是两三万条以上。

#region 使用线程查询数据

//获取省、窗口服务平台基本情况表

Thread t1 = new Thread(new ThreadStart(GetFLAT_INFOSData));
t1.Start();

//获取服务机构基本信息表
Thread t2 = new Thread(new ThreadStart(GetSERVICE_ORG_INFOSData));
t2.Start();

//获取省平台、窗口平台聚集服务机构表
Thread t3 = new Thread(new ThreadStart(GetORG_IN_FLATSData));
t3.Start();

//获取服务项目情况表
Thread t4 = new Thread(new ThreadStart(GetSERVICE_ITEMSData));
t4.Start();

//获取企业基本情况表
Thread t5 = new Thread(new ThreadStart(GetORG_INFOSData));
t5.Start();

//获取服务活动表
Thread t6 = new Thread(new ThreadStart(GetSERVICE_ACTIVITYSData));
t6.Start();

#endregion


#region 不使用线程生成XML

//省、窗口服务平台基本情况表
GetFLAT_INFOS();

//服务机构基本信息表
GetSERVICE_ORG_INFOS();

//省平台、窗口平台聚集服务机构表
GetORG_IN_FLATS();

//服务项目情况表
GetSERVICE_ITEMS();

//企业基本情况表
GetORG_INFOS();

//服务活动表
GetSERVICE_ACTIVITYS();

#endregion
...全文
163 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
md5e 2014-06-11
  • 打赏
  • 举报
回复
一般是一个应用线程(主线程),一个处理线程,否则你得到的数据会出乱子 处理线程 加载完成一个xml返回后再去加载另一个
於黾 2014-06-11
  • 打赏
  • 举报
回复
线程间访问同一资源,加lock啊 自己做个变量来判断也可以.
  • 打赏
  • 举报
回复
没其他人看了 ?
  • 打赏
  • 举报
回复
引用 4 楼 diaodiaop 的回复:
你这是多少个dataset? 按照你的思路 应该是1个吧 然后对于多个table. 不如你试试弄多个dataset 挨个填充呢?
引用 4 楼 diaodiaop 的回复:
你这是多少个dataset? 按照你的思路 应该是1个吧 然后对于多个table. 不如你试试弄多个dataset 挨个填充呢?
我现在就是多个 dataset ,挨着来的,总共是 7个 dataset 。
by_封爱 2014-06-10
  • 打赏
  • 举报
回复
你这是多少个dataset? 按照你的思路 应该是1个吧 然后对于多个table. 不如你试试弄多个dataset 挨个填充呢?
hb1122 2014-06-10
  • 打赏
  • 举报
回复
给你个断点 。
  • 打赏
  • 举报
回复
查询数据及处理数据示例

#region 获取省、窗口服务平台基本情况表
        /// <summary>
        /// 获取省、窗口服务平台基本情况表
        /// </summary>
        private void GetFLAT_INFOSData()
        {
            try
            {
                if (sqllist.Count > 0)
                {
                    stopwatch.Reset();
                    stopwatch.Start();
                    ds1 = bll.GetListBySQL(sqllist[0].ToString().Trim());// 省、窗口服务平台基本情况表
                    stopwatch.Stop();
                    StringUtil.WriteLog("省、窗口服务平台基本情况表查询数据执行时间:" + stopwatch.ElapsedMilliseconds + " 毫秒");
                }
                GC.Collect();
            }
            catch (Exception ex)
            {
                StringUtil.WriteLog(ex.Message);
            }
        }
        #endregion

        #region 省、窗口服务平台基本情况表
        /// <summary>
        /// 省、窗口服务平台基本情况表
        /// </summary>
        private void GetFLAT_INFOS()
        {
            try
            {
                stopwatch.Reset();
                stopwatch.Start();
                if (ds1 != null && ds1.Tables[0].Rows.Count > 0)
                {
                    for (int i = 0; i < ds1.Tables[0].Rows.Count; i++)
                    {
                        num += 1;
                        xml.InsertNode(filepath, filename, "FLAT_INFOS",
                            ds1.Tables[0].Rows[i]["TEMP"].ToString());
                        GC.Collect();
                    }
                }
                stopwatch.Stop();
                StringUtil.WriteLog("省、窗口服务平台基本情况表生成XML文件时间:" + stopwatch.ElapsedMilliseconds + " 毫秒");
                GC.Collect();
            }
            catch (Exception ex)
            {
                StringUtil.WriteLog(ex.Message);
            }
        }
        #endregion
  • 打赏
  • 举报
回复
大神们,来瞅瞅哦
PowerBI系列之Power Query专题1.  获取数据 数据源种类介绍和获取Excel数据源输入数据和拷贝数据:创建辅助表解析Json/XML数据格式获取Web网页数据和URL添加动态参数连接数据的四种模式:Import、DirectQuery、Live Connection、Dual双 属于混合模式连接数据库:Sql server、 Mysql(直连但是必须先安装一个mysql插件)DirectQuery直连查询:Sql serverODBC方式获取数据表关联或多个Sql或调用存储过程获取数据SQL中动态传参和自定义函数: sql中使用参数或数据库名称使用参数连接Sharepoint和OneDrive数据源连接Dataset和Dataflow 替换本地数据源为Sharepoint数据源并保留数据处理操作 终止当前数据刷新Loading:Cancel Query数据源设置-重置数据连接凭证PBIDS连接数据源创建和使用报表模块(输入或值列表)利用报表模板和参数控制线下报表数据权限DirectQuery启用自动页面刷新和更改检测管理聚合表提高DirectQuery查询性能动态M查询参数提高DirectQuery查询性能添加数据刷新时间 DateTime.LocalNow()和Getdate()2.  数据清洗和M语言M语言和官方文档介绍PowerQuery中查阅M函数:=#shared, Ctrl+Space提示数据清洗之常用技能:提升标题、更改数据类型、保留删除错误或空行,删除重复项、选择列和删除列、填充单元格、合并列、拆分、提取、替换、条件替换、添加自定义列,添加条件列、添加索引列、分组、添加年月日列、追加和合并查询透视和逆透视以及转置合并单元格的Excel文件处理导入文件夹中多Excel文件并合并解决多文件合并中列顺序不一致使用参数和函数批量导入文件 文本中提取中文、英文、数字等处理双引号转义 列拆分详解解决列名改变错误解决列丢失错误动态显示、排序和重命名列为所有列名添加前缀列名字母大写和分隔符调整Trim标题列中的多余空格如何处理load数据错误为什么load的Excel数据有null空行为什么load的Excel数据标题在第二行灵活添加占位符规范同类相似数据数据按多列排序为分组添加Index序号分组内值合并诊断工具分析数据处理过程PowerQuery小技巧分享 新冠病例活动轨迹地图标识 

62,047

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧