社区
ASP
帖子详情
如何采集 新闻小偷问题 有验证码要登陆的后才能看的?
dongdongmo
2006-07-05 09:01:18
比如$url="http://detail.china.alibaba.com/seller/offerdetail/41457023.html";
这个页面中有session 需要登陆 还有验证码
我有诚信通会员账号 本来打算是登陆后 再转向这个页面 保留session
可是页面抓取还是原样输出登陆界面
而不是保留session
该怎么弄呢?
才能采集下来登陆后的数据?
谢谢了?
...全文
308
4
打赏
收藏
如何采集 新闻小偷问题 有验证码要登陆的后才能看的?
比如$url="http://detail.china.alibaba.com/seller/offerdetail/41457023.html"; 这个页面中有session 需要登陆 还有验证码 我有诚信通会员账号 本来打算是登陆后 再转向这个页面 保留session 可是页面抓取还是原样输出登陆界面 而不是保留session 该怎么弄呢? 才能采集下来登陆后的数据? 谢谢了?
复制链接
扫一扫
分享
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
mrshelly
2006-07-05
打赏
举报
回复
阿里的验证码在前两年还可以。现在难度比较高了。
patchclass
2006-07-05
打赏
举报
回复
xmlhttp是带session信息的,不过你验证码的问题不好解决啊,帮忙up了
dongdongmo2
2006-07-05
打赏
举报
回复
bs的 asp 或 php js 别的不会了
想做成类似
http://www.zikuang.com/1.php?classid=2416
2416是alibaba的企业类别号
企业信息,产品信息抓完了 可以用了
采购信息需要登陆验证 不好抓 给点意见
是在不行可以做个手动的也行
http://www.zikuang.com/1.htm (js的另存到本机上用,服务器上没有权限)
抓的方式越 简单越好 怎么绕过 登陆验证 ?
libao1983
2006-07-05
打赏
举报
回复
你用的什么采集工具
bs还是cs?
Selenium3笔记-WebDriver源码初探
Selenium3 有哪些变化? 其实相对于与Selenium2,Selenium3没有做太多的改动。下面给出官方的文档说明,供参考。 参考文档:https://seleniumhq.wordpress.com/2013/08/28/the-road-to-selenium-3/ “...
Selenium Webdriver原理终于搞清楚了
前言 selenium1.x:这个时候的selenium,使用的是JavaScript注入技术与浏览器打交道。需要Selenium RC启动一个Server,将操作Web元素的API调用转化为一段段Javascript,在Selenium内核启动浏览器之后注入这段Javascript。Javascript可以获取并调用DOM的任何元素,自如的进行操作。由此才实现了Selenium的目的:自动化Web操作。 这种Javascript注入技术的缺点是速度不理想,而且稳定性大大依赖于Selenium内核对
Selenium源码分析之WebDriver
最近比较空闲就仔细看了一下Selenium的源码,因为主要是使用WebDriver所以重点关注了一下WebDriver的工作原理。在前一篇blog里已经解释过了WebDriver与之前Selenium的JS注入实现不同,直接利用了浏览器native support来操作浏览器。所以对于不同平台,不同的浏览器,必须依赖一个特定的浏览器的native component来实现把WebDriver
Selenium-webdriver绕开反爬虫机制的4种方法
之前爬美团外卖后台的时候出现的
问题
,各种方式拖动
验证码
都无法成功,包括直接控制拉动,模拟人工轨迹的随机拖动都失败了,最后发现只要用chrome driver打开页面,哪怕手动登录也不可以,猜测driver肯定是直接被识别出来了。一开始尝试了改user agent等方式,仍然不行,由于其他项目就搁置了。今天爬淘宝生意...
selenium3源码解析Python篇(十六)-webdriver源码解析
此章为核心模块,内含对浏览器的各种操作!!! 目录结构如下: class WebDriver(object): 将命令通过WebDriver wire protocol协议发送到服务器 session_id: 由此webdriver启动和控制浏览器的会话id capabilities: 远端服务器以字典形式返回有效功能,并非所有服务器实现都将支持每种WebDriver功能。 因此,在描述用户请...
ASP
28,402
社区成员
356,940
社区内容
发帖
与我相关
我的任务
ASP
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
复制链接
扫一扫
分享
社区描述
ASP即Active Server Pages,是Microsoft公司开发的服务器端脚本环境。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章