大佬们问下爬虫服务是不是不建议部署在linux啊？

菜鸟王小凡 2022-05-04 14:33:10

各位大佬，我想在linux 中爬取数据，使用Selenium.WebDriver 必须设置无头模式，但是无头模式拿不到页面元素,尤其是有的等接口加载完毕的。我理解操作的不对还是什么原因，望大神指点下，谢谢!

...全文

193 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_58476488 2022-05-05

打赏
举报

回复

无头的也可以拿到元素、可以设置等待元素加载建议强制或隐式等待

本文介绍了Python网络爬虫的入门教程，包括HTML/CSS基础知识、urllib/Requests库、正则表达式、XPath/BusinessSoup解析、selenium动态网站爬取、Scrapy框架以及Linux基础，适合初学者学习和实践。

本文详细介绍了如何在Linux服务器上使用Scrapy框架部署爬虫，包括选择框架、安装、创建项目、编写代码、运行及数据处理，同时强调了错误处理和日志记录的重要性。,

本文介绍了《Python网络爬虫入门到实战》一书，涵盖HTML/CSS、urllib/Requests、正则表达式、XPath、BeautifulSoup、Selenium、Scrapy框架及Linux基础等内容，适合初学者。书中提供了实战案例和GitHub资源。赠书活动截止日期为2023-08-18。

本文详细介绍了如何准备和配置服务器，包括在阿里云购买和设置服务器、使用Xshell和Xftp进行连接和文件传输。接着，展示了如何部署Python爬虫脚本和Flask服务接口，并通过Git进行代码部署。还提到了利用企业微信进行告警和使用PM2管理Node.js应用。此外，文章提供了Linux、Windows和Node.js的常用命令参考。

本文介绍了Python3网络爬虫的基础技术，包括urllib、Requests、XPath、BeautifulSoup、selenium和Scrapy框架，适合初学者。作者杨涵文、周培源和陈姗姗分享了他们的经验和推荐，书中提供实战案例和Linux基础知识。

Python全栈技术社区

12,038

社区成员

3,183

社区内容

发帖

与我相关

我的任务

python学习企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

创建由Python学习者和社区专家组成的国内最大的第三方Python中文社区，帮助社区成员更好地入门学习、职业成长和应用实践

这里有最新最全的 Python 学习内容及资源，每月多达4次技术公开课
这里有众多 Python 学习者，陪伴你一起交流成长
这里有专业 Python 社区专家、讲师，帮助你跨越学习瓶颈，解决实操难题
这里有丰富的社区活动，可以开阔眼界，结识更多同伴

【最新活动】：

周四技术公开课讲师招募中，点击查看详情
“Python 社区专家团” 招募中,点击查看详情

试试用AI创作助手写篇文章吧

+ 用AI写文章