第二次作业,写的比较摸不着头脑

皮皮他不卡 皮皮他不卡 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

第二次作业还是很失败,虽然延长时间,但是学习的来源确实很碎片化,东拼西凑也没搞好。

国际惯例开头

mport parsel
import requests

url = 'https://tieba.baidu.com'
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0'}

response = requests.get(url, headers=headers)

将获取的内容进行转换为文本并提取

html_a = response.text
html_b = parsel.Selector(html_a)

利用parsel的xpath进行一个xml的具体地址追踪,提取分链接,这一步出乎意料的就失败了,我不知道是我的parsel模块有问题还是lxml模块有问题还是代码不对。本来是想用css进行提取的,但是由于各种原因没成功,最后用xpath也同样失败了。

url_a = html_b.xpath('//div[@class="rcmd_forum_list"]/ul/li/a/@href')extract()

贴上主链接

zhu_url = 'https://tieba.baidu.com'

开始进行拼接,我看教程上有用for进行整体拼接,但是我觉得内容过多,就想用while简单循环进行部分提取。然后具体的贴吧里面的帖子进行使用css提取 帖子名和内容。


for url in url_a
 i = 0
 while i < 10
  url_l = zhu_url + url
  response_e = requests.get(url_l, headers=headers).text
  selector_a = parsel.Selector(response_e)
  a = selector.css('.threadlist_title pull_left j_th_tit [target=_blank]::text').getall()
  b = selector.css('.threadlist_abs threadlist_abs_onlyline ::text').getall()
  print(a, b)
  i = i + 1
 break

最后想保存一下,感觉我看的这一步教程很有毛病

open('lianxi2.txt',mode='w')

 

...全文
评论
收藏 已收藏
分享
返回顶部
皮皮他不卡
编程新手村 67,947 成员 3,262 内容