怎样抓取某带有分页信息时网页数据；

2007-10-26 03:04:53 462 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

高效处理分页数据：用 Python 爬虫抓取网站的多页信息本文介绍了Python爬虫处理网页分页数据的常见方法。针对URL参数分页，可通过动态改变页码参数依次抓取；对于“下一页”按钮分页，建议使用Selenium模拟点击操作；若网站采用AJAX异步加载，则直接请求API接口获取数据。文章还提供了相应代码示例，并推荐优化技巧如设置延迟、多线程抓取等，以提高爬取效率并避免被封禁。阅读详情

如网址：http://huoche.name/TicketList.aspx?tid=<=&s=%E5%8C%97%E4%BA%AC&e=%E4%B8%8A%E6%B5%B7&t=-1
我的思路是：
1.由参数，获取本到本页数据。
2.用正则表达式分析数据并放入数据库中。
3.前台引用，若在数据库中，则直接读取；否则从页面抓取数据；

现在我遇到的问题是在这个例子当中，怎样抓取它的第二页，第三页....数据；
如果页面有总页数，地址栏有引用就好办多了，但是现在都没有的，请问高手如何解决这个问题，谢谢！

...全文

简易数据分析 12 | Web Scraper 翻页——抓取分页器翻页的网页这是简易数据分析系列的第 12 篇文章。本文首发于博客园：简易数据分析 12。前面几篇文章我们介绍了 Web Scraper 应对各种翻页的解决方法，比如说修改网页链接加载数据、点击“更多按钮“加载数据和下拉自动加载数据。今天我们说说一种更常见的翻页类型——分页器。本来想解释一下啥叫分页器，翻了一堆定义觉得很繁琐，大家也不是第一年上网了，看张图就知道了。我找了个功能最全的例子，支持数字页码... 阅读详情

hongru_y

.NET社区 62,272 成员 668,968 内容

+ 关注 + 加入社区

切换为时间正序

APPLESUCH5 2007-10-26

打赏
举报

帮顶

hongru_y 2007-10-26

打赏
举报

不知大哥采用什么方法获取到了它的post数据,是不是用visual sniffer工具呀?

hongru_y 2007-10-26

打赏
举报

大家还有什么好的办法没有?帮顶,谢谢!

hongru_y 2007-10-26

打赏
举报

非常感谢阿坤大哥的帮忙,我试一下看行不?

akunshenjk 2007-10-26

打赏
举报

不过你可以根据采集来的页面里有没有"后10页"来判断是否采集到最后了

akunshenjk 2007-10-26

打赏
举报

// string postData = "__VIEWSTATE="+System.Web.HttpContext.Current.Server.UrlEncode("/wEPDwUJODcxMjQyMzU2ZGT+jaawPMKbjThOxlwGYe+5BxfYQA==");

           // postData += "&__EVENTVALIDATION="+System.Web.HttpContext.Current.Server.UrlEncode("/wEWBgK1y42BCwLc3tynBALc3uCnBALc3tSnBALc3tinBAKmp46bBAtocAmNR1c0tmcUJP+o2bkbnddh");

            string postData = "ctl00$ContentPlaceHolder1$TextBox0=";

            postData += "&ctl00$ContentPlaceHolder1$TextBox1=北京";// +System.Web.HttpContext.Current.Server.UrlEncode("");

            postData += "&ctl00$ContentPlaceHolder1$TextBox2=上海";

            postData += "&ctl00$ContentPlaceHolder1$TextBox3=";

            postData += "&ctl00$ContentPlaceHolder1$SearchBtn=查询";

            postData += "&page=2";

            postData += "&t=-1";



            byte[] data = System.Text.Encoding.UTF8.GetBytes(postData);

            HttpWebRequest myRequest = (HttpWebRequest)WebRequest.Create("http://huoche.name/TicketList.aspx");

            myRequest.Method = "POST";

            myRequest.ContentType = "application/x-www-form-urlencoded";

            myRequest.ContentLength = data.Length;

            System.IO.Stream newStream = myRequest.GetRequestStream();

            newStream.Write(data, 0, data.Length);

            newStream.Close();

            HttpWebResponse myResponse = (HttpWebResponse)myRequest.GetResponse();

            System.IO.StreamReader reader = new System.IO.StreamReader(myResponse.GetResponseStream(), System.Text.Encoding.UTF8);

            string content=reader.ReadToEnd();

            textBox1.Text = content;

总共多少页,我也没发现.

delen2007 2007-10-26

打赏
举报

刚才我打开这个网站看了,阿坤兄说的这个楼主应该也看到了吧!但是我就不明白如何判断总共是多少页?

akunshenjk 2007-10-26

打赏
举报

你的问题倒是看清楚了,这个网站的分页是采用POST,进行分页的,所以你看不到页码.
因此,你要采集第二页以上的数据就要用POST把页码发送过去.你查看源代码,会发现里面有这么一句:<input type="hidden" name="page" value="1"/>
很显然,这就是当前页码.所以只要把这个值+1,再Post发送,就可以了.仅提供思路.

NewUser2008 2007-10-26

打赏
举报

看不懂

怎样抓取某带有分页信息时网页数据；

相关推荐