多线程用mshtml解析html时,内存暴涨,程序中断,如何处理?

chentank chentank 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
在做一个抓取工具,使用htmlagilitypack 解析时不会出现该错误,换用mshtml后开了多线程内存占用很快就跳到了1G+,随后就程序中断,是不是我在用mshtml解析html后需要主动释放什么资源,求指点

void GrabPaperByVIPWebClient(object o)
{
VIP.Model.Phase phase = o as VIP.Model.Phase;
if (phase == null)
return;
VIPWebClient wc = new VIPWebClient();
if (IsUrl(phase.Url))
{
if (!grabbing)
return;
grabjournalcount++;
this.BeginInvoke(new EventHandler(SetStatus), "访问页面 - " + grabjournalcount + "/" + journalcount);
string strResponse = "";
try
{
byte[] bResponse = wc.DownloadData(phase.Url);
strResponse = Encoding.UTF8.GetString(bResponse);
//HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
//document.LoadHtml(strResponse);


IHTMLDocument2 document = new HTMLDocumentClass();
document.designMode = "on";
document.write(strResponse);
document.close();
GetPaperData(document, "抓取文章", phase.ID.ToString());
document = null;
}
catch (WebException webEx)
{
Add2Log("错误", "从地址(" + phase.Url + ")抓取时发生异常,详细信息:" + webEx.Message);
if (webEx.Message.Contains("超时") || webEx.Message.Contains("403"))
{
overtimephaseList.Add(phase);
Add2Log("信息", "从地址(" + phase.Url + ")抓取时发生错误,将该任务加入重试队列!");
}

}
catch (System.AccessViolationException avEx)
{
Add2Log("错误", "将从地址(" + phase.Url + ")抓取的数据传入mshtml时发生异常,详细信息:" + avEx.Message);
}
}
else
{
Add2Log("警告", phase.Journal.JournalName + phase.PhaseString + " 地址(" + phase.Url + ")不正确,无法进行抓取操作!");
}
this.BeginInvoke(new EventHandler(PaperThreaExit), null);
}


...全文

相关推荐

埃斯顿ESTUN-ER10-1600-六轴机械臂码垛仿真

埃斯顿ESTUN_ER10_1600_六轴机械臂码垛仿真

CAE工作者

大型国有企业在构建产业链创新图谱后,对供应链安全风险的预警能力有显著提升吗?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN

科技中介服务机构如何借助数智工具提升技术需求识别与匹配效率.docx

科技中介服务机构如何借助数智工具提升技术需求识别与匹配效率

BIZKEEN

FileTransferAssistant文件传输助手软件

FileTransferAssistant

weixin_47660209

阀门与管道计算工具包(Excel 6 表:安全阀排量/Kv换算/管道压降/换热初算/壁厚校核)

【内容概要】 Excel 工程计算工具包,共 6 个工作表,全部带可查看公式,黄色格填参数、其余自动计算: 1. 安全阀排量:按 ISO 4126 / GB 12241 思路的气相泄放能力估算(临界流判断、最小泄放面积) 2. 阀门 Kv/Cv 换算:Kv 与 Cv 互转、体积流量估算 3. 管道压降:达西公式 + Swamee-Jain 摩阻系数,含沿程与局部阻力拆分 4. 换热初算:逆流 LMTD 法算所需传热面积,附建议裕量 5. 壁厚校核:内压筒体壁厚初算(GB/T 20801 思路),给名义壁厚建议 6. 报价参考表:常见工程服务的价格区间与交付周期 【适用人群】 阀门/泵/管道设计与选型人员、设备厂技术支持、工程公司投标人员、机械专业学生做课程设计。 【使用场景】 - 客户问"这个口径够不够""压降多少"时快速出数 - 投标前做方案初算,避免拍脑袋 - 教学演示:公式与数值一一对应,可核查 【说明】 本工具为工程估算用途,正式设计计算书仍需按标准完整校核(含背压、温度修正、材质与裕量)。文件为 xlsx,无需插件。

nanami_yao
评论 6
收藏 已收藏
分享
返回顶部
chentank
C# 111,129 成员 642,540 内容