Python 爬虫正则路径文件

James-CDD 2014-10-20 06:10:21

想获取网站文档，查看文档存放路径为相对路径，如href=../img/123.jpg,但是这样的话截取后是不能获得图片的，如何才能获得它的绝对路径，变成href=‘http://www.xxii.com/img/123.jpg’

...全文

207 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

James-CDD 2014-11-06

打赏
举报

回复

问题自己解决：这个应该是新手会遇到的问题，使用urlparse模块分解URL，再使用join 进行组合，生成完整路径。可以先了解一下这两个模块的用法。

The_Third_Wave 2014-10-20

打赏
举报

回复

一般都是你访问的网页加上href

感谢主赐予我们时光背景作为入门级的爬虫，其实不需要了解复杂的正则表达式匹配，高深的网络协议。只需要了解一些基本的python语法和html请求/响应原理就能遨游在网络中抓取你想要的内容。今天就和大家分享一个用python实现爬虫的demo。这里将豆瓣同城北京地区近期音乐活动作为目标，尝试抓取音乐活动列表29页的演出信息。 https://beijing.douban.com/even

import requests #导入库 import re #导入库 from fake_useragent import UserAgent # 导入随机ua headers = { 'User-Agent': UserAgent().random } url = '' #此处填写需要爬取的网页链接 resp = requests.get(url=url,headers=headers).text # resp来获取get请求的数据 print(resp...

爬虫和词云

昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法，然后参照网上的例子自己写了个爬虫。python数据爬下来保存在本地，一般是文件或数据库中，但是文件形式相比要更加简单，如果只是自己写爬虫玩，可以用文件形式来保存数据。#coding=utf-8import urllib.requestimport reimport os'''Urllib 模块提供了读取we...

#coding=utf-8importurllib2asrequestimportreimportosimportthreading,time,random####config_url_paths=[r'''http://image.baidu.com/''',]config_save_path=r'''D:\\video\\t\\web\\image_cool\\52\\'...

37,737

社区成员

34,208

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章