BeautifulSoup抓取数据后，如何获得抓取数据中包含的所有div标签id的值？

港湾2019 2017-08-15 02:36:02



import requests

from bs4 import BeautifulSoup

res = requests.get('http://news.sina.com.cn/china/')

res.encoding = 'utf8'

#print(res.text)

soup = BeautifulSoup(res.text,'html5lib')

print(soup)

#可不可以取得这个页面所有div标签的id

...全文

843 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

张强1990 2017-08-15

打赏
举报

for link in soup.find_all("div"):
    print(link.get("id"))

主要介绍了python 3利用BeautifulSoup抓取div标签的方法，文中给出了详细的示例代码供大家参考学习，对大家具有一定的参考学习价值，需要的朋友们下面来一起看看吧。

IMDb抓取工具和OMDb数据库该程序将为IMDb ID刮擦IMDb网站，并使用OMDb API RESTful Web服务来检索每个ID的数据。然后将数据放入数据库中。 1. IMDb抓取器 BeautifulSoup库（）用于从构成IMDb页面HTML中提取数据。从4个页面检索IMDb ID：最高评分250部电影（）最高评分250场演出（）最受欢迎的100部电影（）最受欢迎的100个节目（）使用BeautifulSoup，可以找到所有带有“ wlb_ribbon”类的“ div”标签。在这些标签中，将检索属性“ data-tconst”的值，该值对应于IMDB ID。 2.使用OMDb API检索数据 OMDb API是一种RESTful Web服务，用于获取电影信息，该网站上的所有内容和图像均由用户提供和维护。在发出任何请求之前，请

本文代码是使用python抓取京东小米8手机的配置信息首先找到小米8商品的链接：https://item.jd.com/7437788.html 然后找到其配置信息的标签，我们找到其配置信息的标签为 <div class=”Ptable”> 然后再分析其配置信息的页面的规律，我们发现都是dl中包含了dt和dd，而一个dt对应的一个dd，dt对应的是参数，dd对应的是参数具体的值下面是源代码 import requests from bs4 import BeautifulSoup from pandas import Series from pandas import DataF

1 # -*- coding:utf-8 -*- 2 #python 2.7 3 #XiaoDeng 4 #http://tieba.baidu.com/p/2460150866 5 #标签操作 6 7 8 from bs4 import BeautifulSoup 9 import urllib.request 10 import re 11 1...

1 #-*- coding:utf-8 -*-2 #python 2.73 #XiaoDeng4 #http://tieba.baidu.com/p/24601508665 #标签操作678 from bs4 importBeautifulSoup9 importurllib.request10 importre111213 #如果是网址，可以用这个办法来读取网页14 #html_doc = "h...

脚本语言

37,720

社区成员

34,239

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章