网站数据采集系统崩溃问题

2012-10-30 04:35:54 383 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

一款可以精准爬取网站的网络数据采集系统文章来源：探码科技利用网络大数据面临的挑战互联网上有浩瀚的数据资源，要想抓取这些数据就离不开爬虫。鉴于网上免费开源的爬虫框架多如牛毛，很多人认为爬虫定是非常简单的事情。但是如果你要定期、上规模地准确抓取各种大型网站的数据却是一项艰巨的挑战。流行的爬虫框架Scrapy开发者Scrapinghub在抓取了一千亿个网页后，总结了他们在爬虫是遇到的挑战：速度和数据质量：由于时间通常是限制因素，... 阅读详情

系统不停抓取网络数据，下载文件，运行一段时间（不定期）会出以下异常，然后系统崩溃，请问什么原因呢？系统日志中的错误为：

EventType clr20r3, P1 程序名, P2 1.0.0.0, P3 508755a8, P4 mscorlib, P5 2.0.0.0, P6 4e150613, P7 360e, P8 38, P9 system.objectdisposedexception, P10 NIL.

程序记录的未处理异常为：

服务发生异常:无法访问已关闭的文件。
Flush
在 System.IO.FileStream.Flush()
在 System.IO.FileStream.get_SafeFileHandle()
在 System.Net.FileWebStream.System.Net.ICloseEx.CloseEx(CloseExState closeState)
在 System.Net.FileWebResponse.System.Net.ICloseEx.CloseEx(CloseExState closeState)
在 System.Net.FileWebRequest.Abort()
在 System.Threading._ThreadPoolWaitCallback.PerformWaitCallbackInternal(_ThreadPoolWaitCallback tpWaitCallBack)
在 System.Threading._ThreadPoolWaitCallback.PerformWaitCallback(Object state)
Source:
mscorlib

...全文