网页优化问题，发言有份

[xuxiaomei2707]

我在页面做了两个测试，
一个是用gridview展示数据，有默认分页，但爬虫或蜘蛛只能爬到第一页的数据
二是查询所有数据，只在页面显示10条，只能爬到10条的数据

我用的是http://www.webconfs.com/search-engine-spider-simulator.php 来爬的

如何才能爬到所有查询的数据呢？我想把每一页的数据全都爬到，如何优化啊？？？

[glasses1999]

发言有份 ..............

[xuxiaomei2707]

[Quote=引用 4 楼 qdwangle 的回复:]

http://www.webdiyer.com/Controls/AspNetPager/PagingMode

http://www.webdiyer.com/AspNetPagerDemo/urlpaging/default.aspx
[/Quote]

给的例子很详细了，但是我用
http://www.webconfs.com/search-engine-spider-simulator.php
爬了一下，他也是只能爬到某一个，而不是所有的数据啊

[JoesenZhao]

只为发言有份而来。。

[村长_乐]

[Quote=引用 11 楼 xuxiaomei2707 的回复:]

引用 4 楼 qdwangle 的回复:

http://www.webdiyer.com/Controls/AspNetPager/PagingMode

http://www.webdiyer.com/AspNetPagerDemo/urlpaging/default.aspx


给的例子很详细了，但是我用
http://www.webconfs.com/search-en……
[/Quote]


怎么可能你之前只收录了十个，因为url地址没有变化，所以只收录一页，url分页后url会变化就会收录到



PostBack分页 Url分页
搜索引擎友好 搜索引擎只能检索第一页。 搜索引擎可以检索所有页。

[liuxibei1987]

url分页
发言有分啊

[相当之稳重]

GridView分页那里你注意下是JavaScript 。。而不是实实在在的 链接，爬虫当然不会抓取下去，你要是想放在前台展示让搜索引擎收录到的话 分页就要自己写，把分页样式那换成 <a href=""></a>

[相当之稳重]

另外GridView的内置分页确实样子比较单一。。在后台用用就算了，页面上的分页自己写下吧

[xt218218]

url 分页

[概念人]

没错，就是URL分页，把每一页的详细地址呈现给蜘蛛。

[xuxiaomei2707]

怎么没人啊，自己顶一下

[村长_乐]

url分页

[村长_乐]

http://www.webdiyer.com/Controls/AspNetPager/PagingMode

http://www.webdiyer.com/AspNetPagerDemo/urlpaging/default.aspx

[chenlin19891008]

一般想做SEO的优化，都是要做A标签的分页，一般才可以让爬虫全部抓到~

[xuxiaomei2707]

[Quote=引用 6 楼 chenlin19891008 的回复:]

一般想做SEO的优化，都是要做A标签的分页，一般才可以让爬虫全部抓到~
[/Quote]
如何用<a>分页呢？可不可以具体点？

[xyq0125]

A标签的分页应该就是对url的分页吧。

[mcycsnd007]

实现静态分页 对你的列表页的每行标题和图片做优化 <a>也要做

[qq623932737]

[Quote=引用 15 楼 ptyzhu 的回复:]
GridView分页那里你注意下是JavaScript 。。而不是实实在在的 链接，爬虫当然不会抓取下去，你要是想放在前台展示让搜索引擎收录到的话 分页就要自己写，把分页样式那换成 <a href=""></a>
[/Quote]+1

[xuxiaomei2707]

[Quote=引用 8 楼 xyq0125 的回复:]
A标签的分页应该就是对url的分页吧。
[/Quote]

不好意思啊，把你漏掉了，下次多给你分哈！