这种网站爬去遇到问题请问怎么回事？

江南大富翁 2017-11-08 03:23:32

想去爬虫无讼案例上面的案例进行学习，打开一个网页是能看到内容，可是看源代码都是主页的源代码，python爬下来的也都是主页的源代码，请问大家，这是怎么回事儿？

...全文

220 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

CaiNiaoWuZui 2017-11-08

打赏
举报

回复

爬下来的当然都是主页源代码，网页的内容就包含在源代码里面。使用正则表达式/lxml/beautifulsoup 提取你想要的内容就行了。如果源代码里面没有你想要的内容，那用f12看看要发哪一个请求才能得到你的内容。如果看到的是乱码，那么decode()解码一下即可.

oyljerry 2017-11-08

打赏
举报

回复

是否扒取到正确URL了。内容不对，是不是页面异步加载的

一山更比一山高，有反爬就有反反爬！

这个网站集JS加密、混淆、CSS反爬与一体，手把手教你分析还原

1、电商网站反爬电商网站的反爬策略是非常严格的。爬虫用selenium访问电商网站时会出现验证码，但是通过不了。原来是很多网站对selenium有严格检测。检测是不是$cdc_asdjflasutopfhvcZLmcfl 、navigator.webdriver等这些特俗标志。当然我们也可以通过这个在电商网站的JS中看到相关的检测代码信息：在控制台下输入以下命令window.navigator.webdriver会发现和正常的浏览器打开的有所不同 2、修改selenium 正常的浏览器都会检测到sele

说说这个网站汽车之家，反爬神一般的存在，字体反爬的鼻祖网站，这个网站的开发团队，一定擅长前端吧，2019年4月19日开始写这篇博客，不保证这个代码可以存活到月底，希望后来爬虫coder，继续和汽车之间对抗。 CSDN上关于汽车之家的反爬文章千千万万了，但是爬虫就是这点有意思，这一刻写完，下一刻还能不能用就不知道了，所以可以一直不断有人写下去。希望今天的博客能帮你学会一个反爬技巧。今天要爬去的网...

本文介绍了5种常见的网站反爬机制及其应对策略。主要内容包括：IP封禁的代理池解决方案、请求头校验的动态User-Agent方法、JS动态渲染的接口抓取和自动化工具使用、验证码的人工/自动识别技巧，以及数据加密的逆向分析方法。文章还提供了反爬对策总结表格和实践小技巧，强调合法合规抓取数据的重要性。通过这些技术手段，可以有效提升爬虫的稳定性和成功率。

37,737

社区成员

34,208

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章