有什么办法可以收集(采集)大量的wordperss z-blog网站？

[wumachangxi7]

带宽足够，电脑足够，怎么收集大量的wordpress z-blog网站效率高？
怎样找到源头，开始所谓的第一步呢？

[李睿_Lee]

收集wordperss z-blog网站什么意思？

[Zerolone]

把搜索引擎的都爬下来

[wumachangxi7]

引用 1 楼 Novolee 的回复:

收集wordperss z-blog网站什么意思？

这么说吧：收集使用wordpres或者z-blog这些用开源程序搭建的网站

[wumachangxi7]

引用 2 楼 zerolone 的回复:

把搜索引擎的都爬下来

这样太粗暴了，效率低，而且还要二次处理，搜索引擎数据太多，硬盘也不够存储数据啊

[wumachangxi7]

继续征求解决方案呢

[傲雪星枫]

采集吗？ 百度搜寻blog关键字，在返回的结果中进入网站，判断网站源码是否带wordpress标识别。如是则进行采集。

[wumachangxi7]

引用 6 楼 fdipzone 的回复:

采集吗？ 百度搜寻blog关键字，在返回的结果中进入网站，判断网站源码是否带wordpress标识别。如是则进行采集。

如果要采集超过10w的博客，这个关键词的数量也是很大啊。

[wumachangxi7]

精神常在，继续探讨啊

[wumachangxi7]

引用 9 楼 Novolee 的回复:

[quote=引用 3 楼 wumachangxi7 的回复:] [quote=引用 1 楼 Novolee 的回复:] 收集wordperss z-blog网站什么意思？

这么说吧：收集使用wordpres或者z-blog这些用开源程序搭建的网站[/quote] 还是没讲清楚啊。是你要收集这些网站的域名（首页网址）呢？还是采集这些网站里的所有文章内容呢？[/quote] 这么说吧，不采集这些网站的内容，只是程序判断这些网站的程序是wordpress或者z-blog搭建的，就把这个网站（可以是首页也可以是一个详细页）记录下来

[李睿_Lee]

引用 3 楼 wumachangxi7 的回复:

[quote=引用 1 楼 Novolee 的回复:] 收集wordperss z-blog网站什么意思？

这么说吧：收集使用wordpres或者z-blog这些用开源程序搭建的网站[/quote] 还是没讲清楚啊。是你要收集这些网站的域名（首页网址）呢？还是采集这些网站里的所有文章内容呢？

[丢雷老谋]

自己设置目标站点进行单个站点抓取，同类型的比如WordPress之类的博客结构一样的，可以用相同的处理逻辑，不同的博客站点不可能通用逻辑，哪有万能的逻辑可以自动过滤的

[wumachangxi7]

引用 11 楼 unregret123456 的回复:

自己设置目标站点进行单个站点抓取，同类型的比如WordPress之类的博客结构一样的，可以用相同的处理逻辑，不同的博客站点不可能通用逻辑，哪有万能的逻辑可以自动过滤的

初始源数据从哪里抓取好？

[李睿_Lee]

引用 12 楼 wumachangxi7 的回复:

[quote=引用 11 楼 unregret123456 的回复:] 自己设置目标站点进行单个站点抓取，同类型的比如WordPress之类的博客结构一样的，可以用相同的处理逻辑，不同的博客站点不可能通用逻辑，哪有万能的逻辑可以自动过滤的

初始源数据从哪里抓取好？[/quote] 我觉得可以找个友情链接稍微多点的博客做起点，然后从友情链接开始爬。