发现一个很诡异的问题,求大神解惑

Ckkye 2015-04-24 01:55:33
用ASP+SQLSERVER做了一个简单的页面抓取程序,实现过程就是在页面设置一个按钮,打开新窗口,新窗口的ASP页面执行如下操作:从数据库的表中取出10万条URL记录,然后通过serverXMLHTTP抓取页面,然后将抓取到的HTML内容存入对应URL的数据表中。
一直都很奇怪,页面每次运行2个小时不到就会提示:找不到服务器,无法显示网页,如下图:

错误如下:

但其实,要抓取的网页完全是可以正常访问的。
今天又和往常一样出现这个情况,但不同的是,今天手残,随意打开了一下资源管理器,发现即使页面发生了错误,内存和CPU的占用都没有降下来,如下图:

心想,难道页面错误了,ASP页面还在继续运行????????????
于是SELECT了一下数据库,发现,即使页面提示错误了,ASP页面的程序仍然在不停的抓取数据库中取出的网址,同时将抓取到的内容存入SQLSERVER数据库中。。。。
见下图:

刷新一下,变成:

于是我就纳闷了,怎么页面错误了,还能执行操作。。。。不知道也没错误以后,抓取到的是什么东东,于是查看了下最新抓取的10条记录,,,,尽然没有一点错误,,,,也就是说,即使页面提示错误了,抓取程序依然在正常的运行,,,

难道是见鬼了,,,求大神解惑啊,,,,,
...全文
147 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
_白衣_ 2015-04-27
  • 打赏
  • 举报
回复
没有遇到过这种情况 倒是遇到过 抓取的数据过多,没有及时提交,导致缓冲区被占满而down机的情况 如果你的 抓取程序 有用了循环的话 很有可能 是程序加载到内存中了,且一直在运行,但我不知道你的这个后台抓取程序和前台的关系是怎么建立的!一般来说这种大规模 大数据量的抓取是不用实时显示到前端的,如果你是在实时向前端显示数据 有没有可能你的前端浏览器崩溃了,要知道前端浏览器和后台程序是独立存在,分开运行的
Dogfish 2015-04-26
  • 打赏
  • 举报
回复
应该是你的IIS的worker processor使用过多的资源,没有释放自己而让网页不能访问。
hookee 2015-04-25
  • 打赏
  • 举报
回复
运行那么长时间的话,可以改写成vbs程序,命令行方式运行
「已注销」 2015-04-24
  • 打赏
  • 举报
回复
你试着用chrome打开,按F12跟踪分析一下具体原因
kai525 2015-04-24
  • 打赏
  • 举报
回复
好奇怪的样子哦,说不定重新写一下就好了。。
Ckkye 2015-04-24
  • 打赏
  • 举报
回复
截至目前,那个发生错误的ASP页面仍然在安安静静的抓取页面,保存数据,完全没有停下来的节奏。。。。。。

28,391

社区成员

发帖
与我相关
我的任务
社区描述
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
社区管理员
  • ASP
  • 无·法
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧