求C#处理大量数据计算的思路

2017-10-09 12:51:05 1.5k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

实战案例：使用 C# 实现大规模数据处理与批量任务调度系统本文介绍了使用C#实现大规模数据处理与批量任务调度系统的关键技术方案。系统采用模块化设计，包含数据采集存储、任务调度管理、数据处理分析、并行执行和监控报告等核心模块。重点阐述了Quartz.NET的任务调度机制、TPL并行处理技术以及数据流批处理模型的应用，通过代码示例展示了如何实现定时任务调度、异常处理和并行计算，为构建高效数据处理系统提供了可行的技术路线。阅读详情

各位大侠，小弟最近遇到一个问题，麻烦大家给个思路。

我的网站里边，有个对象，需要执行一个比较复杂的逻辑，像是计算啊，生成Excel之类的，单个大约需要2分钟左右可以把程序执行完成。

但是，如果，当我有1000个对象要批量执行的时候，经常会出现执行了一半之后就挂掉了。

有没有什么好办法，让1000多个对象可以顺利完成计算呢？执行效率可以不用管，只求可以让大批量数据能够顺利完成计算。

谢谢！

...全文

C#几何计算库CShape：从浮点精度处理到多边形布尔运算实战几何计算是计算机图形学、游戏开发、CAD和GIS等领域的核心技术，涉及点、线、面等基本图元的数学表示与空间关系运算。其核心原理基于向量、矩阵运算和计算几何算法，用于解决碰撞检测、路径规划、图形布尔运算等实际问题。在工程实践中，浮点数精度误差是普遍挑战，通常通过引入容差机制来平衡计算准确性与鲁棒性。多边形布尔运算（如并集、交集）是图形处理中的高级功能，常采用扫描线算法或其优化变体实现，广泛应用于区域分析、图形编辑和物理模拟等场景。本文介绍的CShape库，正是针对C#开发中常见的几何计算痛点，提供了统一、高效阅读详情

龙之沙漏

C# 111,129 成员 642,538 内容

+ 关注 + 加入社区

切换为时间正序

qq_19298327 2017-10-16

打赏
举报

静静的看你们zb

龙之沙漏 2017-10-13

打赏
举报

感谢大家，我最后还是做了个记录表，把执行记录一条一条记录下来，出错了就从中断的地方重新开始，算是变相解决了问题。

龙之沙漏 2017-10-13

打赏
举报

引用 14 楼 yenange 的回复:

[quote=引用 13 楼 mationchen 的回复:] 我查了一下，执行速度慢的sql，基本没有，就超过0.5秒的一共才5条

你确定单个操作，生成一个 EXCEL 文件需要 2 分钟？ 1秒内可以取到的数据，生成 EXCEL 需要 2 分钟？[/quote] 不是的，我这个东西的内部逻辑很复杂的，是一个对象关联其他几百个对象，然后根据关系做一些复杂的计算，然后入库，最后再读取数据生成excel的，最后耗时2分种左右。生成excel的过程大约10来秒。

余山水 2017-10-11

打赏
举报

建议：输出日志跟踪，看到那个记录出问题，在确定问题和处理。

吉普赛的歌 2017-10-11

打赏
举报

引用 13 楼 mationchen 的回复:

我查了一下，执行速度慢的sql，基本没有，就超过0.5秒的一共才5条

你确定单个操作，生成一个 EXCEL 文件需要 2 分钟？ 1秒内可以取到的数据，生成 EXCEL 需要 2 分钟？

龙之沙漏 2017-10-11

打赏
举报

引用 12 楼 yenange 的回复:

先在服务器上查一下慢SQL吧：

SELECT OBJECT_NAME(qt.objectid, qt.dbId)  AS procName,
       DB_NAME(qt.dbId)                   AS [db_name],
       qt.text                            AS SQL_Full,
       SUBSTRING(
           qt.text,
           (qs.statement_start_offset / 2) + 1,
           (
               (
                   CASE statement_end_offset
                        WHEN -1 THEN DATALENGTH(qt.text)
                        ELSE qs.statement_end_offset
                   END 
                   - qs.statement_start_offset
               ) / 2
           ) + 1
       )                                  AS SQL_Part --统计对应的部分语句
       ,
       qs.creation_time,
       qs.last_execution_time,
       qs.execution_count,
       qs.last_elapsed_time / 1000000     AS lastElapsedSeconds,
       qs.last_worker_time / 1000000      AS lastCpuSeconds,
       CAST(
           qs.total_elapsed_time / 1000000.0 / (
               CASE 
                    WHEN qs.execution_count = 0 THEN -1
                    ELSE qs.execution_count
               END
           ) AS DECIMAL(28, 2)
       )                                  AS avgDurationSeconds,
       CAST(qs.last_logical_reads AS BIGINT) * 1.0 / (1024 * 1024) * 8060 AS 
       lastLogicReadsMB,
       qs.last_logical_reads,
       qs.plan_handle
FROM   sys.dm_exec_query_stats qs
       CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) AS p
WHERE  qs.last_execution_time >= CONVERT(CHAR(10),GETDATE(),120)+' 08:00'	--今天8点之后的慢SQL
       AND qs.last_elapsed_time >= 3 * 1000 * 1000							--只取执行时间大于 3 秒的记录
       AND qt.[text] NOT LIKE '%Proc_DBA%'
ORDER BY
       qs.last_worker_time DESC

我查了一下，执行速度慢的sql，基本没有，就超过0.5秒的一共才5条

龙之沙漏 2017-10-10

打赏
举报

引用 5 楼 clark_kidd 的回复:

有几种可能，要不就是页面响应超时，要不就是你处理的时候有bug或者死锁，要不就是内存耗尽，还有其他我没想到的，首先你应该查明原因。首先你应该要排除是否页面响应超时，现象是服务器上结果已经生成但是前台页面挂掉，如果是这样，那么应该优先考虑线程托管然后你应该排除bug，是否有逻辑死锁、死循环，修正它最后，如果是内存耗尽那就要考虑内存占用优化算法，现象是在任务管理器中观察iis的进程w3p，是否占用了大量内存另外，1000个对象对于现在的计算机来说太少了，2分钟有很大的优化空间，比如生成excel，很多年前，我生成80MB的excel也只用了40秒

我的思路是这样子的，单个对象进行计算生成报表是没有问题的，这个过程大约需要2分钟。批量的计算的时候，做个for，把要进行计算的所有对象放在这个循环中，调用单个对象进行计算的方法。服务器的内存是足够多的，所以也不存在内存耗尽的问题。不过我发现一个问题，就是sqlserver占用的内存特别大，我服务器32g内存，sgl占了将近20g，而我的整个数据库文件也才5个g左右，不知道这个有没有影响。

threenewbee 2017-10-10

打赏
举报

后台作业，或者使用异步调用

吉普赛的歌 2017-10-10

打赏
举报

先在服务器上查一下慢SQL吧：

SELECT OBJECT_NAME(qt.objectid, qt.dbId)  AS procName,
       DB_NAME(qt.dbId)                   AS [db_name],
       qt.text                            AS SQL_Full,
       SUBSTRING(
           qt.text,
           (qs.statement_start_offset / 2) + 1,
           (
               (
                   CASE statement_end_offset
                        WHEN -1 THEN DATALENGTH(qt.text)
                        ELSE qs.statement_end_offset
                   END 
                   - qs.statement_start_offset
               ) / 2
           ) + 1
       )                                  AS SQL_Part --统计对应的部分语句
       ,
       qs.creation_time,
       qs.last_execution_time,
       qs.execution_count,
       qs.last_elapsed_time / 1000000     AS lastElapsedSeconds,
       qs.last_worker_time / 1000000      AS lastCpuSeconds,
       CAST(
           qs.total_elapsed_time / 1000000.0 / (
               CASE 
                    WHEN qs.execution_count = 0 THEN -1
                    ELSE qs.execution_count
               END
           ) AS DECIMAL(28, 2)
       )                                  AS avgDurationSeconds,
       CAST(qs.last_logical_reads AS BIGINT) * 1.0 / (1024 * 1024) * 8060 AS 
       lastLogicReadsMB,
       qs.last_logical_reads,
       qs.plan_handle
FROM   sys.dm_exec_query_stats qs
       CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) AS qt
CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) AS p
WHERE  qs.last_execution_time >= CONVERT(CHAR(10),GETDATE(),120)+' 08:00'	--今天8点之后的慢SQL
       AND qs.last_elapsed_time >= 3 * 1000 * 1000							--只取执行时间大于 3 秒的记录
       AND qt.[text] NOT LIKE '%Proc_DBA%'
ORDER BY
       qs.last_worker_time DESC

闭包客 2017-10-10

打赏
举报

问题的关键还是要知道为什么挂了。一般长时间执行的程序都需要日志。

大然然 2017-10-10

打赏
举报

上代码 · ·

yangguosheng 2017-10-10

打赏
举报

想到了一个刚刚写代码的时候的一个东西，你不会用datareader了吧。

clark_kidd 2017-10-10

打赏
举报

引用 7楼我是你的主体的回复:

[quote=引用 5 楼 clark_kidd 的回复:] 有几种可能，要不就是页面响应超时，要不就是你处理的时候有bug或者死锁，要不就是内存耗尽，还有其他我没想到的，首先你应该查明原因。首先你应该要排除是否页面响应超时，现象是服务器上结果已经生成但是前台页面挂掉，如果是这样，那么应该优先考虑线程托管然后你应该排除bug，是否有逻辑死锁、死循环，修正它最后，如果是内存耗尽那就要考虑内存占用优化算法，现象是在任务管理器中观察iis的进程w3p，是否占用了大量内存另外，1000个对象对于现在的计算机来说太少了，2分钟有很大的优化空间，比如生成excel，很多年前，我生成80MB的excel也只用了40秒

clark_kidd 2017-10-09

打赏
举报

有几种可能，要不就是页面响应超时，要不就是你处理的时候有bug或者死锁，要不就是内存耗尽，还有其他我没想到的，首先你应该查明原因。首先你应该要排除是否页面响应超时，现象是服务器上结果已经生成但是前台页面挂掉，如果是这样，那么应该优先考虑线程托管然后你应该排除bug，是否有逻辑死锁、死循环，修正它最后，如果是内存耗尽那就要考虑内存占用优化算法，现象是在任务管理器中观察iis的进程w3p，是否占用了大量内存另外，1000个对象对于现在的计算机来说太少了，2分钟有很大的优化空间，比如生成excel，很多年前，我生成80MB的excel也只用了40秒

龙之沙漏 2017-10-09