多线程用mshtml解析html时,内存暴涨,程序中断,如何处理?
void GrabPaperByVIPWebClient(object o)
{
VIP.Model.Phase phase = o as VIP.Model.Phase;
if (phase == null)
return;
VIPWebClient wc = new VIPWebClient();
if (IsUrl(phase.Url))
{
if (!grabbing)
return;
grabjournalcount++;
this.BeginInvoke(new EventHandler(SetStatus), "访问页面 - " + grabjournalcount + "/" + journalcount);
string strResponse = "";
try
{
byte[] bResponse = wc.DownloadData(phase.Url);
strResponse = Encoding.UTF8.GetString(bResponse);
//HtmlAgilityPack.HtmlDocument document = new HtmlAgilityPack.HtmlDocument();
//document.LoadHtml(strResponse);
IHTMLDocument2 document = new HTMLDocumentClass();
document.designMode = "on";
document.write(strResponse);
document.close();
GetPaperData(document, "抓取文章", phase.ID.ToString());
document = null;
}
catch (WebException webEx)
{
Add2Log("错误", "从地址(" + phase.Url + ")抓取时发生异常,详细信息:" + webEx.Message);
if (webEx.Message.Contains("超时") || webEx.Message.Contains("403"))
{
overtimephaseList.Add(phase);
Add2Log("信息", "从地址(" + phase.Url + ")抓取时发生错误,将该任务加入重试队列!");
}
}
catch (System.AccessViolationException avEx)
{
Add2Log("错误", "将从地址(" + phase.Url + ")抓取的数据传入mshtml时发生异常,详细信息:" + avEx.Message);
}
}
else
{
Add2Log("警告", phase.Journal.JournalName + phase.PhaseString + " 地址(" + phase.Url + ")不正确,无法进行抓取操作!");
}
this.BeginInvoke(new EventHandler(PaperThreaExit), null);
}
相关推荐
埃斯顿ESTUN-ER10-1600-六轴机械臂码垛仿真
埃斯顿ESTUN_ER10_1600_六轴机械臂码垛仿真
大型国有企业在构建产业链创新图谱后,对供应链安全风险的预警能力有显著提升吗?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
科技中介服务机构如何借助数智工具提升技术需求识别与匹配效率.docx
科技中介服务机构如何借助数智工具提升技术需求识别与匹配效率
FileTransferAssistant文件传输助手软件
FileTransferAssistant
阀门与管道计算工具包(Excel 6 表:安全阀排量/Kv换算/管道压降/换热初算/壁厚校核)
【内容概要】 Excel 工程计算工具包,共 6 个工作表,全部带可查看公式,黄色格填参数、其余自动计算: 1. 安全阀排量:按 ISO 4126 / GB 12241 思路的气相泄放能力估算(临界流判断、最小泄放面积) 2. 阀门 Kv/Cv 换算:Kv 与 Cv 互转、体积流量估算 3. 管道压降:达西公式 + Swamee-Jain 摩阻系数,含沿程与局部阻力拆分 4. 换热初算:逆流 LMTD 法算所需传热面积,附建议裕量 5. 壁厚校核:内压筒体壁厚初算(GB/T 20801 思路),给名义壁厚建议 6. 报价参考表:常见工程服务的价格区间与交付周期 【适用人群】 阀门/泵/管道设计与选型人员、设备厂技术支持、工程公司投标人员、机械专业学生做课程设计。 【使用场景】 - 客户问"这个口径够不够""压降多少"时快速出数 - 投标前做方案初算,避免拍脑袋 - 教学演示:公式与数值一一对应,可核查 【说明】 本工具为工程估算用途,正式设计计算书仍需按标准完整校核(含背压、温度修正、材质与裕量)。文件为 xlsx,无需插件。


