有无人用过中国站长在线搜索蜘蛛、机器人模拟工具?

dw2003 2006-11-24 11:43:38
用它抓取我们公司网站的页面时出现:抓取内容失败,请确认您输入的地址能正常访问。
动态的:http://www.clbase.com
静态的:http://www.clbase.com/forum/html/2006-11/22/558.htm

前几天抓取动态的不行,只能是静态,但经我修改后动静态的网页都可以的了。
但今天再试一下,发现动静态的网页都不能抓取了,不知是什么原因。真的晕了,是不是中国站长网把www.clbase.com给封了。
...全文
169 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
jspadmin 2006-11-24
  • 打赏
  • 举报
回复
连接太复杂,可能不能被蜘蛛很好的识别
建议自己先用软件做个map,放上去给蜘蛛指路
dw2003 2006-11-24
  • 打赏
  • 举报
回复
网站开通一两个月了,一直未被baidu和google收藏或许也是这个原因。
dw2003 2006-11-24
  • 打赏
  • 举报
回复
我用google网站管理员工具提交出现这样的信息,这是什么原因:

Sitemap http://www.clbase.com/Article_Index.asp 错误

--------------------------------------------------------------------------------

此 Sitemap 有下列错误:

错误
文件格式不受支持
您的 Sitemap 格式可能不受支持。请确保其合乎Sitemap 指南要求并重新提交。 [?]
dw2003 2006-11-24
  • 打赏
  • 举报
回复
忘记了,这是中国站长在线搜索蜘蛛、机器人模拟工具:
http://tool.chinaz.com/Seo/Spider.asp
dw2003 2006-11-24
  • 打赏
  • 举报
回复
不会是这原因吧。

28,391

社区成员

发帖
与我相关
我的任务
社区描述
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
社区管理员
  • ASP
  • 无·法
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧