3.7w+
社区成员
- 全部
- 互动交流
- 文章分享
请问在爬取【贝壳租房】的时候，不同页面得到的结果相同如何解决？
在查询的过程中，我发现URL构成大致为：https://{0}.http://zu.ke.com/zufang/pg{1}
并且每一个房源有唯一房源编号，构成具体页面链接可进行访问。
所以我设置MySQL两列：1.自增ID做主键，2.房源编号唯一
但是在爬取过程中，通过改变pg的页数，得到的房源编号重复比例极大，一页30条，大致100页，最终结果只有三百多条（一开始以为代码没写对，后来我用单线程检查了循环数，返回是否有问题，用print发现不同页面很多返回的ID都是重复的）
后来我以为是推荐系统的问题，然后登录，写入cookie，得到的结果大致还是这样。
如何解决这种问题，感谢。
并且每一个房源有唯一房源编号，构成具体页面链接可进行访问。
所以我设置MySQL两列：1.自增ID做主键，2.房源编号唯一
但是在爬取过程中，通过改变pg的页数，得到的房源编号重复比例极大，一页30条，大致100页，最终结果只有三百多条（一开始以为代码没写对，后来我用单线程检查了循环数，返回是否有问题，用print发现不同页面很多返回的ID都是重复的）
后来我以为是推荐系统的问题，然后登录，写入cookie，得到的结果大致还是这样。
如何解决这种问题，感谢。
...全文
请发表友善的回复…
发表回复
秃顶小少年 02-17
可以看下我写的博客使用scrapy爬取贝壳租房，我也遇到了好多问题，都解决了，顺利把数据爬取下来了https://blog.csdn.net/weixin_44454180/article/details/113455910
stream_ 02-15
谢谢您，我再研究一下。
放风喽 02-09
数据是在https://bj.zu.ke.com/zufang/pg7/这个网址出来的，也就是说，在服务器端渲染的数据。
然后查看请求参数，srcid参数每次都会变，其他参数全部不变。
所以我判断，它根本没有那么多数据，每次都是随机抽取一组数据，在服务器端渲染完成，发送过来。
只要保证和上一页的数据不一样就行了。
放风喽 02-09
我用浏览器打开的网站，每次刷新都变数据。
也就是说，爬虫和正常用户得到的结果是一样的。
那么这种行为还是反爬吗？？
颜色一样，长度一样，重量一样，叫声一样，那就可以判定是同一种东西。
stream_ 02-09
但是这个数量级差距太大了，显示：已为您找到 42773 套 北京租房，怎么可能只有三百多条数据。我觉得是某种反爬机制，我有随机sleep和多个useragent随机访问，但是还是没有办法避免这样的情况。
stream_ 02-08
你可以尝试一下贝壳的租房网站，https://bj.zu.ke.com/zufang。无论登录与否，刷新页面得到的结果都是不同的。和响应时间没太大关系
放风喽 02-08
爬取过程不要涉及复杂操作，所以获取页面的html之后，直接将html存储下来，然后获取下一页的html。节省时间，最大化利用网络。
另外开一个程序从html中过滤数据，这个时候就可以操作去重。所有复杂操作由这个程序进行。
请问在爬取【贝壳租房】的时候，不同页面得到的结果相同如何解决？ 在查询的过程中，...刷新页面得到的结果都是不同的。和响应时间没太大关系">https://bj.zu.ke.com/zufang。 无论登录与否，刷新页面得到的结果都是不同的。和响应时间没太大关系</a></p>
爬取贝壳租房信息存储到mongoDB 前几天链家网升级成贝壳找房了，融合了十几家知名公寓的租房信息，太赞了，正好有多方面数据来源可以分析。代码是存储到mongoDB上（忍不住吐槽一下，mongoDB对32位的系统真不友好，各种问题，要么要安装补丁，每次...
利用python爬取贝壳网租房信息 最近准备换房子，在网站上寻找各种房源信息，看得眼花缭乱，于是想着能否将基本信息汇总起来便于查找，便用python将基本信息爬下来放到excel，这样一来就容易搜索了。 1. 利用lxml中的xpath提取信息 xpath是一门在 ...
【Python】爬取贝壳网深圳二手房数据 【Python】爬取贝壳网深圳二手房数据 一，爬取数据 1，爬取目标内容 先打开页面https://sz.ke.com/ershoufang/ ，看下页面的结构，分页的列表页，点击就可以跳转到对应的详细页面，有详细的二手房信息。 主要爬取...
python实战 | 爬取贝壳房源总数据价格提取 爬取贝壳房源总数据(楼盘，地址，价格，户型，面积) 第二章，房源价格爬取 文章目录前言一、爬虫是什么？二、使用步骤1....在进行大数据分析或者进行数据挖掘的时候，数据源可以从某些提供数据统计的网站获得.
Scrapy爬取贝壳网并存入csv 本文以爬取宁波地区的房产信息为例 1、宁波整个市页面 宁波地区的网址都是以上面的格式，再加上各个区的拼音，即可进入各个区的网页。 各个区的名称： areas = {'海曙区': 'haishuqu1', '江北区': '...
爬取贝壳找房数据 from bs4 import BeautifulSoup import requests import time import random import csv import pandas as pd import numpy as np from pandas import Series,DataFrame ... "Mozilla/5.0 (Macintosh;...
爬取贝壳平台新房数据并可视化 先爬取数据 import requests import time import random from lxml import etree import csv # 设置请求头 user_agents = [ "Mozilla/5.0 (Windows NT 5.1; rv:30.0) Gecko/20100101 Firefox/30.0", "Mozil...
python爬虫爬取贝壳网上动态加载的数据 爬取贝壳上二手房信息时，想要将对应房源近一个月的带看信息弄下来，看看哪些房源热度最高。结果毫无意外，简单粗暴的BeautifulSoup+select无法将这部分信息弄下来，如下图，如果带看记录过多，页面是通过按钮控制...
爬取贝壳所有杭州租房信息 from bs4 import BeautifulSoup import requests import time import random import csv import pandas as pd import numpy as np from pandas import Series,DataFrame ... "Mozilla/5.0 (Macintosh;...
Python实战 | 手拉手教你爬取贝壳房源数据 python爬取贝壳房源数据前言一、爬虫是什么？二、使用步骤1.引入库2.读入数据总结新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的...
Python爬虫实战：爬取贝壳网二手房40000条数据 爬取贝壳网石家庄二手房信息，先打开链接 https://sjz.ke.com/ershoufang/。 不添加筛选条件，发现总共有42817套房子。我们点击第二页，再查看链接变成了https://sjz.ke.com/ershoufang/pg2/。所以，可发现/...
手把手 网络爬虫：用爬虫爬取贝壳房租网西安的租房信息 手把手 网络爬虫：用爬虫爬取贝壳房租网西安的租房信息 前为讲解，代码放在最后。 我这次的任务是爬取西安的租房数据，并处理为csv文件形式，首先我们需要策划步骤。 创建一个csv文件用来储存收集信息。 需要原网址...
Python爬虫 | 爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！ 文章目录1.概述2.数据采集3.数据清洗3.1.读取数据3.2.去掉车位(地下室)数据3.3.房源信息解析4.数据处理及可视化4.1.各地区二手房源数4.2.各地区二手房均价4.3.各地区二手房总价4.4....最近看到一句话，感觉很扎心，这句...
Python爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！ Python爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！ 文章目录Python爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！1.概述2.数据采集3.数据清洗3.1.读取数据3.2.去掉车位(地下室)数据3.3....
贝壳房价爬取 学习用python写爬虫有几天了，下面写一个小爬虫验证下学习成果吧。 本文适合小白食用，各位大佬您就图个乐~ Tip:本文仅供学习与交流，切勿...爬取贝壳网石家庄二手房信息，先打开链接 https://sjz.ke.com/ershouf.
python 爬取贝壳的一些思路和方法设计(用地址找到小区名字) 1.查mysql 获取 title 或者 address 2.用title或者address参数,request.get方法 查百度地图的地址api: http://api.map.baidu.com/place/v2/search?query=成都市青羊区青羊上街...tag=房地产®ion=成都 ...o...
从移动端爬取-贝壳数据 我用的是pc的手机模拟器爬取-夜神模拟器，当然也可以使用自己 手机进行爬取 夜神下载 ：https://www.yeshen.com/pg/yeshen?renqun_youhua=1797214 下载完成 打开后，点击设->WLAN->修改网络，给连接的wifi...
requests练手，从贝壳网上爬取深圳各地区的租房信息（多线程+多进程爬取） 话不多说直接上代码 这是将数据导入到MySQL数据库中的代码 import mysql.connector class HandleMySQL(object): def __init__(self): # user和password要根据自己电脑设置的去写, # 用这段代码之前一定要先...
Scrapy十秒钟爬取贝壳二手房3000条房源信息 3、将创建好的项目导入PyCharm中打开，在 Spider文件夹中创建爬虫文件 4、爬虫代码如下： import scrapy class mingyan(scrapy.Spider): name='beike' def start_requests(self): link='https://xy.ke.com/e.
爬取贝壳网深圳二手房实战 完整走一遍从数据爬取下来到完成数据预测的流程，这次先把爬取数据整出来。爬取的内容是深圳龙岗区的二手房数据，一共有3000条。 - 先把要用的包导进来 import re import xlwt import requests import collections ...
Python爬取虫2-贝壳网二手房信息 本文以“无锡”为例，共查询出39793条数据，但是页面是每页显示30条，共100页，也就是说默认显示3000条数据。 所以我转变了思路，将无锡看做一个整体进行划分 import urllib import requests import json from bs4...
python之爬虫的入门05------实战：爬取贝壳网（用re匹配需要的数据） # 第二页：https://hz.zu.ke.com/zufang/pg2 # 第一页：... import urllib.request import random import re def user_ip(): '''使用IP代理''' ... iplist = ['117.191.11.109:8542','186.4...
EXCEL VBA编程（excel办公高手必经之路） 宏基础
VBA编程基础
常用语句（分支、循环语句的基础及应用）
VBA结合工作表的函数功能的应用等 如果您会了所有的excel技能都不能解决工作的数据问题。那请选择VBA技术完成。本季主要讲解关于VBA的基础知识。为走向更高阶的excel技术打下基础。为更高效的办公打下基础。
打通Linux脉络系列：进程、线程和调度 本课程分成4个组成部分，每次课60分钟，每次课后留下3-4个练习题，可以在Linuxer公众号留言讨论答案和做题心得。
第一部分：深入彻底搞清楚进程生命周期，进程生命周期创建、退出、停止、以及僵尸是个什么意思；
第二部分：深入分析进程创建的写时拷贝技术、以及Linux的线程究竟是怎么回事（为什么称为轻量级进程），此部分也会搞清楚进程0、进程1和托孤，以及睡眠时的等待队列；
第三部分：搞清楚Linux进程调度算法，不同的调度策略，实时性，完全公平调度算法；
第四部分：讲解Linux多核下CPU、中断、软负载均衡、cgroups调度算法以及Linux为什么不是一个实时操作系统。 掌握Linux脉络知识：进程、线程和调度。
