求助!如何将轻松筹里面的支持者数据信息爬下来。

EEEEEERROR 2016-06-15 09:58:23
如何把这些人的数据爬下来 。。。
下面是链接
http://www.qschou.com/project/fac6d182-063a-4698-ae37-30b3cd69c707?uuid=bbd696d6-5ba7-41d3-91d9-380bd5df190b&platform=wechat&shareto=1&from=timeline&isappinstalled=0#project-supporter
我需要的数据是:


在它的网页里是下拉到底就会自动加载剩余的用户数据。
我想使把里面所有的用户数据给抓取到。
应该如何实现!
求助大神帮助。
...全文
889 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
vaivxuanzi 2016-06-21
  • 打赏
  • 举报
回复

string url = "http://www.qschou.com/ajax/support/fac6d182-063a-4698-ae37-30b3cd69c707/" + index + "/2457";
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";
request.ContentType = "text/html;charset=UTF-8";
request.Accept = "application/json, text/javascript, */*; q=0.01";
request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36";
Cookie c1 = new Cookie("PHPSESSID", HttpUtility.UrlEncode("i3hcct9a95lf943usc29jm8nv35i0vps"), "/", "qschou.com");
Cookie c2 = new Cookie("aliyungf_tc", HttpUtility.UrlEncode("AQAAADkqqyq3EgEAUnGOPbDbfXdE/qPR"), "/", "qschou.com");
Cookie c3 = new Cookie("Hm_lvt_65dfcf8f1948f7203dd3fb620de01083", HttpUtility.UrlEncode("1465983898,1466043031,1466053489/qPR"), "/", "qschou.com");
Cookie c4 = new Cookie("Hm_lpvt_65dfcf8f1948f7203dd3fb620de01083", HttpUtility.UrlEncode("1466053522"), "/", "qschou.com");
request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(c1);
request.CookieContainer.Add(c2);
request.CookieContainer.Add(c3);
request.CookieContainer.Add(c4);
request.Referer = "http://www.qschou.com/project/fac6d182-063a-4698-ae37-30b3cd69c707?uuid=bbd696d6-5ba7-41d3-91d9-380bd5df190b&platform=wechat&shareto=1&from=timeline&isappinstalled=0";
SetHeaderValue(request.Headers, "Host", "www.qschou.com");
SetHeaderValue(request.Headers, "Connection", "keep-alive");
request.Headers.Add("Accept-Language", "zh-CN,zh;q=0.8,en;q=0.6");
request.Headers.Add("X-Requested-With", "XMLHttpRequest");
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
Stream myResponseStream = response.GetResponseStream();
StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.GetEncoding("utf-8"));
string retString = myStreamReader.ReadToEnd();
myStreamReader.Close();
myResponseStream.Close();
return retString;
slwsss 2016-06-15
  • 打赏
  • 举报
回复
chrome network xhr 分析ajax请求获取数据url http://jingyan.baidu.com/article/86fae346b55c623c48121a46.html

2,760

社区成员

发帖
与我相关
我的任务
社区描述
搜索引擎的服务器通过网络搜索软件或网络登录等方式,将Internet上大量网站的页面信息收集到本地,经过加工处理建立信息数据库和索引数据库。
社区管理员
  • 搜索引擎技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧