robots.txt能提高google的抓取数量吗？

[heshuang163]

测试结果
网址 Googlebot Googlebot-Mobile
http://meiaimei.tk/ 已允许
检测为目录；具体文件可能有不同限制 已允许
检测为目录；具体文件可能有不同限制

robots.txt 分析
值 结果
第 19 行：<!-- www.000webhost.com Analytics Code --> 语法有误
第 20 行：<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script> 语法有误
第 21 行：<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript> 语法有误
第 22 行：<!-- End Of Analytics Code --> 语法有误

有什么错误，能帮我修改吗？

[life169]

robots.txt 怎么能用HTML语法呢，先把语法搞清楚。

给个robots例子：
User-agent: *
Sitemap: http://xxx.xxx.xxx/sitemap/index.xml
Disallow: /admin/

[helloyou0]

你这完全不是robots的格式

[happypiggy2010]

能。把不想的目录过滤掉。