sitemapx制作网站地图,抓爬之后网站的链接少于现实存在的链接

Russell 谢志成 2019-05-08 09:47:07
sitemapx制作网站地图,抓爬之后网站的链接少于现实存在的链接,网站有300+可以正常访问的链接,但是sitemapx只抓爬到50个左右,被抓取的链接我看了一下基本是一个栏目页的第一页,比如说资讯页面的第一页文章被抓取了,但是第二页、第三页文章没有被抓取,不知何解,望大神帮忙看看,解决之后私信红包。
...全文
382 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
大东哥 2019-12-02
  • 打赏
  • 举报
回复
用这个在线抓取Sitemap | Merkle 等到首页加载完在输入域名抓取

2,760

社区成员

发帖
与我相关
我的任务
社区描述
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
社区管理员
  • 搜索引擎技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧