程序设计实训 - 题目 20 爬虫

2019301248-侯星宇 2022夏-程序设计实训 2022-07-29 23:52:35

程序设计实训 - Python

题目 20

img

代码实现

# NPU 程序设计实训 HW20 爬虫
import time
import requests
from bs4 import BeautifulSoup


def crawler(book_list):
    sort_list = []
    for page in range(1, 6):  
        url = f'https://www.qidian.com/rank/yuepiao?style=1&page={page}'
        headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/'
                                 '87.0.4280.66 Safari/537.36'}
        ret = requests.get(url, headers=headers).text
        soup = BeautifulSoup(ret, "html.parser")
        books = soup.find_all(**{'data-eid': "qd_C40"})
        for book in books:
            book_name = book.get_text()
            if book_name in book_list:
                sort_list.append(book_name)
    return {book_name:index+1 for index, book_name in enumerate(sort_list)}

结果展示

# 函数测试
book_list = ["光阴之外", "我已不做大佬好多年", "这游戏也太真实了"]
print(crawler(book_list))

结果如图

img

...全文
18 回复 打赏 收藏 举报
写回复
回复
切换为时间正序
请发表友善的回复…
发表回复
发帖
西工大网安实践教学社区

31

社区成员

依托实践实训环节,为同学们更好掌握所需的基本技能,提供一个交流学习的社区。
python安全linux 高校
社区管理员
  • shawn904
  • weixin_44003872
加入社区
帖子事件
创建了帖子
2022-07-29 23:52
社区公告
暂无公告