200分,关于网络爬虫,模拟登陆问题,速求大神回复,在线等

enaking 2016-09-21 08:50:00
菜鸟,最近忽然对抓取网站,模拟登陆,感兴趣,然后用IE的F12键查看数据,以网上看了象QQ啊百度啊登陆,,然后我自己找了一个网站,在用F12键查看数据时,发现一个问题不知道怎么处理。如下
我在输入https://www.******.com/user/login/ 时,然后捕捉了45条请求(如图),其中我让我不解的是第一条就发送了Cookie数据,也就是说第一个网页请求就发送了Cookie,那么这个Cookie从何而来,我认为不管是js生成的还是接收服务器返回的信息然后通过js计划,那么都不应该是第一个请求会发送Cookie,请大神们帮忙,谢谢



...全文
575 24 打赏 收藏 转发到动态 举报
写回复
用AI写文章
24 条回复
切换为时间正序
请发表友善的回复…
发表回复
anythingBlank 2016-09-25
  • 打赏
  • 举报
回复
那个如何去得到要传递的cookit,说个方法。 就是楼上给出的js,翻译成c#,写一个方法,然后在头信息里赋值就行
anythingBlank 2016-09-25
  • 打赏
  • 举报
回复
JS里设置cookie不会显示在ie的f12里的响应标头的Set-Cookie里吗 这个Set-Cookie 是 response cookie 也就是服务端给的cookie,如果是request,直接在cookie里
拜一刀 2016-09-23
  • 打赏
  • 举报
回复
引用 21 楼 enaking 的回复:
[quote=引用 19 楼 zeratul1990 的回复:] [quote=引用 18 楼 enaking 的回复:] [quote=引用 16 楼 zeratul1990 的回复:] 网页一打开确实有4个cookie,有两个是百度统计的,估计是hm.js里,另两个在t.js之类的地方搜下"cookie"找找看吧,比如
try{a5ops=document.cookie.match(new RegExp("(^| )EDSTAT_ok_pages=([^;]*)(;|$)"));a5ops=(a5ops==null)?1: (parseInt(unescape((a5ops)[2]))+1);var a5oe =new Date();a5oe.setTime(a5oe.getTime()+24*60*60*1000);document.cookie="EDSTAT_ok_pages="+a5ops+ ";path=/;expires="+a5oe.toGMTString();a5ot=document.cookie.match(new RegExp("(^| )EDSTAT_ok_times=([^;]*)(;|$)"));if(a5ot==null){a5ot=1;}else{a5ot=parseInt(unescape((a5ot)[2])); a5ot=(a5ops==1)?(a5ot+1):(a5ot);}a5oe.setTime(a5oe.getTime()+365*24*60*60*1000);document.cookie="EDSTAT_ok_times="+a5ot+";path=/;expires="+a5oe.toGMTString();}catch(e){}
try{if(document.cookie==""){a5ops=-1;a5ot=-1;}}catch(e){}
谢谢大哥,那个如何去得到要传递的cookit,说个方法。[/quote] 你就研究那个js呗,者看他是怎么得出的cookie值,哪里获得的cookie,你照着执行下就有了吧[/quote] 谢谢大哥,最后一个问题在JS里设置cookie不会显示在ie的f12里的响应标头的Set-Cookie里吗[/quote] 这方面我不懂呐我也是新人
enaking 2016-09-23
  • 打赏
  • 举报
回复
引用 19 楼 zeratul1990 的回复:
[quote=引用 18 楼 enaking 的回复:] [quote=引用 16 楼 zeratul1990 的回复:] 网页一打开确实有4个cookie,有两个是百度统计的,估计是hm.js里,另两个在t.js之类的地方搜下"cookie"找找看吧,比如
try{a5ops=document.cookie.match(new RegExp("(^| )EDSTAT_ok_pages=([^;]*)(;|$)"));a5ops=(a5ops==null)?1: (parseInt(unescape((a5ops)[2]))+1);var a5oe =new Date();a5oe.setTime(a5oe.getTime()+24*60*60*1000);document.cookie="EDSTAT_ok_pages="+a5ops+ ";path=/;expires="+a5oe.toGMTString();a5ot=document.cookie.match(new RegExp("(^| )EDSTAT_ok_times=([^;]*)(;|$)"));if(a5ot==null){a5ot=1;}else{a5ot=parseInt(unescape((a5ot)[2])); a5ot=(a5ops==1)?(a5ot+1):(a5ot);}a5oe.setTime(a5oe.getTime()+365*24*60*60*1000);document.cookie="EDSTAT_ok_times="+a5ot+";path=/;expires="+a5oe.toGMTString();}catch(e){}
try{if(document.cookie==""){a5ops=-1;a5ot=-1;}}catch(e){}
谢谢大哥,那个如何去得到要传递的cookit,说个方法。[/quote] 你就研究那个js呗,者看他是怎么得出的cookie值,哪里获得的cookie,你照着执行下就有了吧[/quote] 谢谢大哥,最后一个问题在JS里设置cookie不会显示在ie的f12里的响应标头的Set-Cookie里吗
WM_JAWIN 2016-09-23
  • 打赏
  • 举报
回复
有cookies那肯定是你之前访问过那个网站 你用隐私模式试试。如果还有,那肯定有鬼
拜一刀 2016-09-23
  • 打赏
  • 举报
回复
引用 18 楼 enaking 的回复:
[quote=引用 16 楼 zeratul1990 的回复:] 网页一打开确实有4个cookie,有两个是百度统计的,估计是hm.js里,另两个在t.js之类的地方搜下"cookie"找找看吧,比如
try{a5ops=document.cookie.match(new RegExp("(^| )EDSTAT_ok_pages=([^;]*)(;|$)"));a5ops=(a5ops==null)?1: (parseInt(unescape((a5ops)[2]))+1);var a5oe =new Date();a5oe.setTime(a5oe.getTime()+24*60*60*1000);document.cookie="EDSTAT_ok_pages="+a5ops+ ";path=/;expires="+a5oe.toGMTString();a5ot=document.cookie.match(new RegExp("(^| )EDSTAT_ok_times=([^;]*)(;|$)"));if(a5ot==null){a5ot=1;}else{a5ot=parseInt(unescape((a5ot)[2])); a5ot=(a5ops==1)?(a5ot+1):(a5ot);}a5oe.setTime(a5oe.getTime()+365*24*60*60*1000);document.cookie="EDSTAT_ok_times="+a5ot+";path=/;expires="+a5oe.toGMTString();}catch(e){}
try{if(document.cookie==""){a5ops=-1;a5ot=-1;}}catch(e){}
谢谢大哥,那个如何去得到要传递的cookit,说个方法。[/quote] 你就研究那个js呗,者看他是怎么得出的cookie值,哪里获得的cookie,你照着执行下就有了吧
enaking 2016-09-23
  • 打赏
  • 举报
回复
引用 16 楼 zeratul1990 的回复:
网页一打开确实有4个cookie,有两个是百度统计的,估计是hm.js里,另两个在t.js之类的地方搜下"cookie"找找看吧,比如
try{a5ops=document.cookie.match(new RegExp("(^| )EDSTAT_ok_pages=([^;]*)(;|$)"));a5ops=(a5ops==null)?1: (parseInt(unescape((a5ops)[2]))+1);var a5oe =new Date();a5oe.setTime(a5oe.getTime()+24*60*60*1000);document.cookie="EDSTAT_ok_pages="+a5ops+ ";path=/;expires="+a5oe.toGMTString();a5ot=document.cookie.match(new RegExp("(^| )EDSTAT_ok_times=([^;]*)(;|$)"));if(a5ot==null){a5ot=1;}else{a5ot=parseInt(unescape((a5ot)[2])); a5ot=(a5ops==1)?(a5ot+1):(a5ot);}a5oe.setTime(a5oe.getTime()+365*24*60*60*1000);document.cookie="EDSTAT_ok_times="+a5ot+";path=/;expires="+a5oe.toGMTString();}catch(e){}
try{if(document.cookie==""){a5ops=-1;a5ot=-1;}}catch(e){}
谢谢大哥,那个如何去得到要传递的cookit,说个方法。
拜一刀 2016-09-22
  • 打赏
  • 举报
回复
网页一打开确实有4个cookie,有两个是百度统计的,估计是hm.js里,另两个在t.js之类的地方搜下"cookie"找找看吧,比如
try{a5ops=document.cookie.match(new RegExp("(^| )EDSTAT_ok_pages=([^;]*)(;|$)"));a5ops=(a5ops==null)?1: (parseInt(unescape((a5ops)[2]))+1);var a5oe =new Date();a5oe.setTime(a5oe.getTime()+24*60*60*1000);document.cookie="EDSTAT_ok_pages="+a5ops+ ";path=/;expires="+a5oe.toGMTString();a5ot=document.cookie.match(new RegExp("(^| )EDSTAT_ok_times=([^;]*)(;|$)"));if(a5ot==null){a5ot=1;}else{a5ot=parseInt(unescape((a5ot)[2])); a5ot=(a5ops==1)?(a5ot+1):(a5ot);}a5oe.setTime(a5oe.getTime()+365*24*60*60*1000);document.cookie="EDSTAT_ok_times="+a5ot+";path=/;expires="+a5oe.toGMTString();}catch(e){}
try{if(document.cookie==""){a5ops=-1;a5ot=-1;}}catch(e){}
闭包客 2016-09-22
  • 打赏
  • 举报
回复
引用 11 楼 enaking 的回复:
[quote=引用 10 楼 closurer 的回复:] 第一次访问网站不可能会有 cookie
所以我就是觉得奇怪嘛,肯定先要设置了 cookie才会提取cookie,[/quote] 重定向后,请求列表会刷新,有时候不易察觉。
闭包客 2016-09-22
  • 打赏
  • 举报
回复
引用 11 楼 enaking 的回复:
[quote=引用 10 楼 closurer 的回复:] 第一次访问网站不可能会有 cookie
所以我就是觉得奇怪嘛,肯定先要设置了 cookie才会提取cookie,[/quote] 是被重定向了吧。
yzf86211861 2016-09-22
  • 打赏
  • 举报
回复
很厉害的 样子
雷诺兹 2016-09-22
  • 打赏
  • 举报
回复
第一次访问没有set怎么可能有cookie
enaking 2016-09-22
  • 打赏
  • 举报
回复
引用 10 楼 closurer 的回复:
第一次访问网站不可能会有 cookie
所以我就是觉得奇怪嘛,肯定先要设置了 cookie才会提取cookie,
闭包客 2016-09-22
  • 打赏
  • 举报
回复
第一次访问网站不可能会有 cookie
enaking 2016-09-22
  • 打赏
  • 举报
回复
自己顶一 下
anythingBlank 2016-09-22
  • 打赏
  • 举报
回复
他里面有个 t.js,这个js给了cookie。
anythingBlank 2016-09-21
  • 打赏
  • 举报
回复
把地址贴出来
enaking 2016-09-21
  • 打赏
  • 举报
回复
引用 1 楼 pengqian098 的回复:
cookie是保存在客户端的,当这个网站有使用cookie的时候,那么每次请求都会把cookie发送到服务端
我每次监控数据时都会清除cookie,那么第一次请求,cookie数据从何而来,
跳动de指尖 2016-09-21
  • 打赏
  • 举报
回复
cookie是保存在客户端的,当这个网站有使用cookie的时候,那么每次请求都会把cookie发送到服务端
enaking 2016-09-21
  • 打赏
  • 举报
回复
引用 7 楼 starfd 的回复:
直接打开login页,并没你说的这个直接有cookie,反倒是服务端响应有set,估计你是在这个页面之前打开过这个站点的其它网页吧
没有,打开ie先清除了cookit和缓存直接输入的地址,
加载更多回复(4)

62,072

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧