用ASP+SQLSERVER做了一个简单的页面抓取程序,实现过程就是在页面设置一个按钮,打开新窗口,新窗口的ASP页面执行如下操作:从数据库的表中取出10万条URL记录,然后通过serverXMLHTTP抓取页面,然后将抓取到的HTML内容存入对应URL的数据表中。
一直都很奇怪,页面每次运行2个小时不到就会提示:找不到服务器,无法显示网页,如下图:
错误如下:
但其实,要抓取的网页完全是可以正常访问的。
今天又和往常一样出现这个情况,但不同的是,今天手残,随意打开了一下资源管理器,发现即使页面发生了错误,内存和CPU的占用都没有降下来,如下图:
心想,难道页面错误了,ASP页面还在继续运行????????????
于是SELECT了一下数据库,发现,即使页面提示错误了,
ASP页面的程序仍然在不停的抓取数据库中取出的网址,同时将抓取到的内容存入SQLSERVER数据库中。。。。
见下图:
刷新一下,变成:
于是我就纳闷了,怎么页面错误了,还能执行操作。。。。不知道也没错误以后,抓取到的是什么东东,于是查看了下最新抓取的10条记录,,,,尽然没有一点错误,,,,也就是说,即使页面提示错误了,抓取程序依然在正常的运行,,,
难道是见鬼了,,,求大神解惑啊,,,,,