求抓取京东商品的价格

张海霖 2016-03-30 02:55:25

$url = "http://item.jd.com/1292555.html";
$url = "http://item.jd.com/10171235525.html";
给两个测试的网址。

要获取到商品价格。谢谢

原帖在此
还有40分
http://bbs.csdn.net/topics/391925520?page=1

不要再回答curl之类，那些我也知道，问题是你能取到价格吗

...全文

422 4 打赏收藏举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

斯洛文尼亚旅游 2016-03-30

打赏
举报

回复

f12调出浏览器开发工具，chrome看network选项卡，firebug看网络选项卡

张海霖 2016-03-30

打赏
举报

回复

引用 2 楼 showbo 的回复:

js跨域没有权限，更加没有搞头，你要找到价格的接口，请求接口而不是原始页面，原始页面没有包含价格。。不懂是从哪个接口返回的，自己f12调出开发工具，然后看发送的请求，一个个点开看返回的内容

不懂怎么看发送的请求

斯洛文尼亚旅游 2016-03-30

打赏
举报

回复

js跨域没有权限，更加没有搞头，你要找到价格的接口，请求接口而不是原始页面，原始页面没有包含价格。。不懂是从哪个接口返回的，自己f12调出开发工具，然后看发送的请求，一个个点开看返回的内容

zpjshiwo77 2016-03-30

打赏
举报

回复

我没有做过，但因为之前想抓豆瓣电影网，所以有查过爬虫。记得Python爬虫爬到的东西是整个html页面的包，解析后好像就是一个html结构的字符串。我想的是拿到整个字符串后正则匹配价格

引用

<strong class="p-price" id="jd-price">￥999.00</strong>

在取其中数字和整个页面的title对应起来就行了。我是这样想的，没做过，不知道可不可以 ~

以iphone8为例#京东做了反爬措施。直接抓取html内容不成功，所以要找到请求接口输入skuIds（商品代号），得到json字符串 jd = "https://p.3.cn/prices/mgets?callback=jQuery6710688&type=1&area=1&pdtk=&pduid=1132198894&pdpin=&pin=nul...

最开始还是常规地使用selenium库进行商品页的商品抓取，后来因为想要获取优惠信息，只能进入到商品详情页进行抓取，想着用selenium库模拟浏览器行为进行页面抓取速度有点慢，就改用了requests库直接发送请求，然后问题就来了：明明在页面看到了优惠满减字段，抓取的结果却是空白的。百度了解到的原因是，京东网页中价格等信息并不是存放在静态网页中的，我们使用requests获取到网页源码，进行html解析，只会获取到空值。最后因为商品抓取量不大，所以还是乖乖的使用了selenium库进行爬虫。

本文介绍了使用Python爬虫抓取京东商品数据的方法，包括商品价格、销量和评价信息。通过分析京东页面HTML结构，利用requests获取网页内容，BeautifulSoup解析数据，pandas存储结果。文章还提供了批量抓取多商品数据的代码示例，并讨论了反爬虫策略，如IP代理和随机User-Agent。该技术可帮助商家进行市场分析和竞品研究。

这是一个以http://item.jd.com/2957726.html为例的单网页抓取案例 import urllib.request; #载入urllib.request,用于获取页面html源代码 from pandas import Series; #载入series包 from pandas import DataFrame; #载入dataframe包 from bs4 impo

突然心血来潮想抓一个京东的商品价格，突然发现网页的源码里没有价格这一项，只有商品的编号，网上说是显示的同事js从数据库里取出商品价格，放在页面上，那么我只能模拟请求了。哇咔咔，记得去你给京东投简历之后就没有然后了，难道就因为我也叫京东，你这也太浮夸了，给我幼小心灵造成创伤了。原本要写一下creepy这个模块来抓取了，但今天时间不够了，明天还要上班。。。。明天再写那个模块吧，据说

87,984

社区成员

224,681

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章