求助!爬取json接口的数据,返回的数据不完整,但用浏览器中(如图)可以看到

UImFine 2019-04-16 10:40:22
爬取json接口的数据,返回的数据不完整,但用浏览器中(如图)可以看到

import urllib.request
url='http://www.airbnb.cn/api/v2/explore_tabs?_format=for_explore_search_web&_intents=p1&auto_ib=true&checkin=2019-04-16&checkout=2019-04-17¤cy=CNY&experiences_per_grid=20&fetch_filters=true&guidebooks_per_grid=20&has_zero_guest_treatment=true&is_guided_search=true&is_new_cards_experiment=true&is_standard_search=true&items_offset=18&items_per_grid=18&key=d306zoyjsyarp7ifhu67rjxn52tv0t20&locale=zh&luxury_pre_launch=true&map_toggle=false&metadata_only=false&place_id=&poi_group=0&poi_id=&poi_tab=district&query=%E6%88%90%E9%83%BD&query_understanding_enabled=true&refinement_paths%5B%5D=%2Fhomes&satori_version=1.1.3&screen_size=large§ion_offset=7&selected_tab_id=home_tab&show_groupings=true&supports_for_you_v3=true&timezone_offset=480&version=1.4.8'
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0',
}
req=urllib.request.Request(url=url,headers=headers,method='GET')
res=urllib.request.urlopen(req)
print(res.read().decode('utf-8'))


...全文
514 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
尘封记忆 2019-04-16
  • 打赏
  • 举报
回复

# !/usr/bin/env python 
# -*- coding:utf-8 -*-
import requests

url = \
	'http://www.airbnb.cn/api/v2/explore_tabs?_format=for_explore_search_web&_intents=p1&auto_ib=true' \
	'&checkin=2019-04-16&checkout=2019-04-17¤cy=CNY&experiences_per_grid=20&fetch_filters=true' \
	'&guidebooks_per_grid=20&has_zero_guest_treatment=true&is_guided_search=true&is_new_cards_experiment=true' \
	'&is_standard_search=true&items_offset=18&items_per_grid=18&key=d306zoyjsyarp7ifhu67rjxn52tv0t20&locale=zh' \
	'&luxury_pre_launch=true&map_toggle=false&metadata_only=false&place_id=&poi_group=0&poi_id=&poi_tab=district' \
	'&query=%E6%88%90%E9%83%BD&query_understanding_enabled=true&refinement_paths%5B%5D=%2Fhomes&satori_version=1.1.3' \
	'&screen_size=large§ion_offset=7&selected_tab_id=home_tab&show_groupings=true&supports_for_you_v3=true' \
	'&timezone_offset=480&version=1.4.8'

pRequests = requests.get(url)
print(pRequests.text)

我用的python2.7,数据应该是一样的。还有通过API获取数据,除非必要,否则不用加所谓的headers。

37,720

社区成员

发帖
与我相关
我的任务
社区描述
JavaScript,VBScript,AngleScript,ActionScript,Shell,Perl,Ruby,Lua,Tcl,Scala,MaxScript 等脚本语言交流。
社区管理员
  • 脚本语言(Perl/Python)社区
  • IT.BOB
加入社区
  • 近7日
  • 近30日
  • 至今

试试用AI创作助手写篇文章吧