爬出来的内容出现了“由于您的浏览器禁用JavaScript,无法正常使用本网站功能”

Antiiii_ 2020-02-23 01:02:25
小白想爬一下晋江的小说,结果出现了“由于您的浏览器禁用JavaScript,无法正常使用本网站功能”,我查了一下说是加入cookie,我加了也没用QAQ。 希望各位大佬帮帮忙,谢谢(鞠躬)!
...全文
409 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
cmh12 2020-02-23
  • 打赏
  • 举报
回复
可能是要登入才能爬取
Antiiii_ 2020-02-23
  • 打赏
  • 举报
回复
补一下代码
import urllib.request as ur
import urllib.parse as up
import lxml.etree as le
import re

def saveNovel():
    pass

novel_id = input("请输入小说id:")
data = {}
data['novelid'] = novel_id
n_name = up.urlencode(data,'gbk')
print(n_name)
headers = {}
headers['User-Agent']: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.106 Safari/537.36'
headers['Cookie']:' __cfduid=d05e6379b2ecf6669ba8eccbc08d3aca71582380742; UM_distinctid=1706d3e27728ca-0885e7c45727d3-313f69-144000-1706d3e2773bb5; timeOffset_o=-11180.89990234375; __gads=ID=118427538be126a2:T=1582380978:S=ALNI_MaqzIhZM7iOEdZ4hWzL9ExIDC0I0Q; token=NDI0NjE2MTV8OGIyYzk3ZmFiYTVkMzhiY2JlMDg5NzkzMDk0N2NjMDB8fHx8MjU5MjAwMHwxfHx85qyi6L%2BO5oKo77yM5pmL5rGf55So5oi3fDB8bW9iaWxl; JJEVER=%7B%22ispayuser%22%3A%2242461615-0%22%2C%22foreverreader%22%3A%2242461615%22%2C%22sms_total%22%3A0%7D; testcookie=yes; Hm_lvt_bc3b748c21fe5cf393d26c12b2c38d99=1582380755,1582423239; CNZZDATA30075907=cnzz_eid%3D1798975185-1582377415-null%26ntime%3D1582424627; JJSESS=%7B%22nicknameAndsign%22%3A%22undefined%7E%29%2524%22%2C%22clicktype%22%3A%22%22%7D; Hm_lpvt_bc3b748c21fe5cf393d26c12b2c38d99=1582429903'
url_1 = 'http://www.jjwxc.net/onebook.php?'+n_name
response = ur.Request(url_1,headers)
url_2 =  ur.urlopen(response).read().decode('gb2312','ignore')
print(url_2)

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧