第二次作业,写的比较摸不着头脑
第二次作业还是很失败,虽然延长时间,但是学习的来源确实很碎片化,东拼西凑也没搞好。
国际惯例开头
mport parsel
import requests
url = 'https://tieba.baidu.com'
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0'}
response = requests.get(url, headers=headers)
将获取的内容进行转换为文本并提取
html_a = response.text
html_b = parsel.Selector(html_a)
利用parsel的xpath进行一个xml的具体地址追踪,提取分链接,这一步出乎意料的就失败了,我不知道是我的parsel模块有问题还是lxml模块有问题还是代码不对。本来是想用css进行提取的,但是由于各种原因没成功,最后用xpath也同样失败了。
url_a = html_b.xpath('//div[@class="rcmd_forum_list"]/ul/li/a/@href')extract()
贴上主链接
zhu_url = 'https://tieba.baidu.com'
开始进行拼接,我看教程上有用for进行整体拼接,但是我觉得内容过多,就想用while简单循环进行部分提取。然后具体的贴吧里面的帖子进行使用css提取 帖子名和内容。
for url in url_a
i = 0
while i < 10
url_l = zhu_url + url
response_e = requests.get(url_l, headers=headers).text
selector_a = parsel.Selector(response_e)
a = selector.css('.threadlist_title pull_left j_th_tit [target=_blank]::text').getall()
b = selector.css('.threadlist_abs threadlist_abs_onlyline ::text').getall()
print(a, b)
i = i + 1
break
最后想保存一下,感觉我看的这一步教程很有毛病
open('lianxi2.txt',mode='w')
...全文


