Scrapy的WebDriverWait问题

mmmaxxx 2017-03-28 02:17:16

from datetime import datetime
from scrapy.spiders import CrawlSpider, Rule
from scrapy.shell import inspect_response
from tencent_app.items import TencentAppItem
import time
import scrapy
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait

class Yingyongbao(CrawlSpider):
name = 'yingyongbao_app'
def __init__(self):
super(Yingyongbao,self).__init__()
bid = ['qq']
self.start_urls = ['http://sj.qq.com/myapp/search.htm?kw=%s' % i for i in bid]
self.url = 'http://sj.qq.com/myapp/detail.htm?apkName='
self.driver = webdriver.Firefox()

def parse(self,response):
url_set = set()
self.driver.get(response.url)
while True:
try:
wait = WebDriverWait(self.driver, 2)
wait.until(lambda driver: driver.find_element_by_xpath('/html/body/div[3]/div[3]/div[2]/a'))
#time.sleep(1)
next_page = self.driver.find_element_by_xpath('/html/body/div[3]/div[3]/div[2]/a/i')
next_page.click()
except:
break

我写的翻页程序,模拟浏览器,等待下一页标签出现,不断点击下一页的形式。但我不明白为什么wait = WebDriverWait(self.driver, 12,14),wait.until(lambda driver: driver.find_element_by_xpath('/html/body/div[3]/div[3]/div[2]/a'))两行代码不管用,会报错
...全文
244 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
Maxwelll_ 2017-04-06
  • 打赏
  • 举报
回复
给我吧把分啊啊啊
mmmaxxx 2017-04-01
  • 打赏
  • 举报
回复
老天爷爷啊,没人来帮忙嘛。。。
mmmaxxx 2017-04-01
  • 打赏
  • 举报
回复
顶顶顶顶 的的顶顶顶顶顶
mmmaxxx 2017-03-30
  • 打赏
  • 举报
回复
顶顶顶顶顶顶顶顶顶顶

37,719

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧