26,355
社区成员
发帖
与我相关
我的任务
分享📢📢📢 AI大模型黑马团队诚聘一位爬虫专家！！
要求：必须是做全网爬虫，如果只做过定向爬虫就不用联系了，谢谢您！
JD如下：
爬虫系统工程师 上海/北京
岗位职责：
1、设计和开发高效，可扩展的分布式数据爬虫系统，以收集、清洗和整合网络上的大规模数据。
2、负责研究和分析网络资源，制定有效的数据抓取策略。
3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能；能够处理反爬虫策略，包括但不限于IP代理、验证码识别等。
4、提供数据结果，支持数据分析和机器学习等后续步骤。
5、与数据科学家、业务分析师和其他开发人员紧密合作，理解并满足他们的数据需求。
6、关注并应用一般的Web安全实践，尊重目标网站的Robot.txt指引。
岗位要求：
1、计算机科学、信息技术或相关专业的学士学位，具有5-10年相关工作经验。
2、精通Python等至少一种程序语言，具有使用Scrapy/Beautiful Soup/Selenium/Puppeteer/Scrapy/PhantomJS等爬虫工具的经验。
3、理解HTML，CSS，JavaScript及Web浏览器DOM结构。
4、熟悉网络爬虫技术，包括动态页面抓取、反封锁/IP代理等。
5、对大数据处理和存储有一定的了解和实践，比如Hadoop，Spark，MongoDB等。
6、具备良好的问题解决能力，能独立处理问题，并有持续学习和自我提升的动力。
7、对数据抓取的合法性、道德性等有深厚的理解，能制定和遵循严格的数据抓取原则。
8、加分项：逆向、混淆、脱壳、分布式、数据分析、数据挖掘。
感兴趣的大佬可加微信：13004118865（Eric），备注“CSDN爬虫”即可。
...全文
请发表友善的回复…
发表回复
真诚的Eric 2024-04-15
- 打赏
- 举报
各位爬虫大佬快来看看！
