Python提交query string后得不到正确的响应网页

elmliu 2018-03-11 06:50:30

用的requests.Session() 我想用爬虫查询飞猪上的特价机票价格，就算直接复制浏览器中有查询结果的url，用get()提交，得到的响应网页总是显示没有查询结果。加上了headers也是这样
比如这个url:
http://url: https://sjipiao.alitrip.com/cheap_flight_search.htm?tripType=0&depCityName=%C7%E0%B5%BA&depCity=TAO&arrCityName=%C4%CF%BE%A9&arrCity=NKG&depDate=2018-04-04&range=2&searchGapDay=3

...全文

404 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

elmliu 2018-03-11

打赏
举报

回复

问题解决了，是因为网页加载未完成，用selenium等待一下就OK了

DarkChampion 2018-03-11

打赏
举报

回复

说明url不对呗。 http://blog.csdn.net/VVBBBBB/article/details/52062694

Python 语言的发展历程中，字符串格式化方式不断演进。从早期的 `%` 运算符，到后来的 `string.format()` 方法，再到 Python 3.6 引入的备受欢迎的 f-string，每一次变化都为开发者带来了更便捷的编程体验。而在即将发布的 Python 3.14 中，t-string（模板字符串）的引入，又将开启字符串处理的新篇章——它不仅是 f-string 的功能延伸，更是面向复杂场景的安全化、结构化解决方案。

Python爬虫入门前言前置知识要求(您需要对下面的内容有一定了解才能方便您看懂本文)锦上添花的知识需求(如果还了解一下内容会对您理解底层代码有所帮助)新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前言本人还在学习阶段

Preface:最近有些事情，需要爬取百度百科的东西，以前的给忘光了，不用就会忘记，还好有部分记录，可是以前大部分都因为没有记录又重新查找了很多东西，所以说经常记录很有必要。 coding: import codecs#用于打开文件夹保证编码格式 import urllib2#用于爬取 import re#用于匹配找到url import os#用于创建文件夹 from bs4

什么是爬虫就是编写程序，模拟浏览器上网，让其去互联网中抓取数据的过程模拟：浏览器本身就是一个纯天然的爬虫工具，爬虫相关的模块都是基于浏览器为基础开发出来的。注意：日后只要是你的爬虫程序没有爬取到你想要的数据，只有一个原因：就是你的爬虫程序模拟的力度不够！抓取：抓取网页数据分两种情况：将一个页面所有的数据抓取到将页面中局部的数据抓取到爬虫在应用场景的分类通用爬虫：将一个页面中所有的数据获取。大部分的搜索引擎中应用比较多。聚焦爬虫。

urllib支持常见的网络协议，如 HTTP、HTTPS、FTP 等，并允许你定制请求头、处理重定向、使用代理等。然而，对于更复杂的用例，如使用 OAuth 进行身份验证、发送 JSON 数据、处理 cookies 等，你可能需要查看更高级的库，如。是 Python 标准库中的一个模块，它提供了用于解析 URL 的各种功能。你可以根据异常的类型执行不同的操作，如记录错误、重试请求或向用户显示友好的错误消息。来打开或读取 URL 时，可能会遇到各种错误，例如网络问题、无效的 URL 或服务器错误。

37,743

社区成员

34,212

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章