如何通过爬虫爬取各大新闻网站过去一段时间内的所有新闻？

[qq_24395777]

最近在学习word2vec，想利用word2vec训练一个同义词模型，准备采用新闻数据做为语料库。

但在爬取新闻的过程中发现，现在主流的新闻网站基本都是采用滚动式（名字我瞎编的）的新闻加载方式，也就是你鼠标滚轮一直向下拉就会不停的加载新的新闻出来。我通过这种方式找到的数据接口（例如网易的 http://3g.163.com/touch/jsonp/sy/recommend/10-10.html），只能爬到最近的1000篇新闻（对应于鼠标滚轮滚到后最后就不会再加载新的新闻出来了-_-||）。这个量对于训练一个同义词模型肯定是太少了。

所以想问问各位大大有没有什么方法可以爬到新闻网站过去一段时间的所有新闻啊？小弟在此先谢过了

[oyljerry]

只能再找别的新闻源网站。