第二次作业,写的比较摸不着头脑

皮皮他不卡 2022-11-04 17:10:17

第二次作业还是很失败,虽然延长时间,但是学习的来源确实很碎片化,东拼西凑也没搞好。

国际惯例开头

mport parsel
import requests

url = 'https://tieba.baidu.com'
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0'}

response = requests.get(url, headers=headers)

将获取的内容进行转换为文本并提取

html_a = response.text
html_b = parsel.Selector(html_a)

利用parsel的xpath进行一个xml的具体地址追踪,提取分链接,这一步出乎意料的就失败了,我不知道是我的parsel模块有问题还是lxml模块有问题还是代码不对。本来是想用css进行提取的,但是由于各种原因没成功,最后用xpath也同样失败了。

url_a = html_b.xpath('//div[@class="rcmd_forum_list"]/ul/li/a/@href')extract()

贴上主链接

zhu_url = 'https://tieba.baidu.com'

开始进行拼接,我看教程上有用for进行整体拼接,但是我觉得内容过多,就想用while简单循环进行部分提取。然后具体的贴吧里面的帖子进行使用css提取 帖子名和内容。


for url in url_a
 i = 0
 while i < 10
  url_l = zhu_url + url
  response_e = requests.get(url_l, headers=headers).text
  selector_a = parsel.Selector(response_e)
  a = selector.css('.threadlist_title pull_left j_th_tit [target=_blank]::text').getall()
  b = selector.css('.threadlist_abs threadlist_abs_onlyline ::text').getall()
  print(a, b)
  i = i + 1
 break

最后想保存一下,感觉我看的这一步教程很有毛病

open('lianxi2.txt',mode='w')

 

...全文
93 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

67,947

社区成员

发帖
与我相关
我的任务
社区描述
灌水发信息每周送书 灌水发干货每周送惊喜 谁最水过年送大礼 谁最硬核过年送大礼 谁最贡献过年送大礼
社区管理员
  • 1_bit
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

我们“新手村”社区就是大家的孵化器

你们学习,我来评分

每周最高分送一本书

每月第四周送一份机械键盘

咱们新手村使用一切狂暴手段让优秀的人得到奖励

 

试试用AI创作助手写篇文章吧