关于网络爬虫爬取淘宝商品数据的问题。。

[小亮子yo]

我目前正在准备做获取淘宝，或者其他电商数据的网络爬虫，但是通过几天的学习发现想获取淘宝的数据并没有想象中那么简单，不知道有木有曾经做过的大神，在网上找资料也没发现有多少是可以参考的资料。
初步想法有两种：
第一是利用淘宝提供的API来获取数据，可是真心不太会用淘宝的API，而且利用淘宝提供的API不知道会不会免费？主要还是不知道怎么学习淘宝的API，也就不知道怎么利用API来获取定量的数据。
第二，就是利用网页链接以及正则表达式，通过HttpClient来获取淘宝的页面信息，从而抓出其中的商品信息，可是发现这样实现起来会非常复杂。
知道这里的大神们比较多，所以想求教这个问题，真心求想法，以及可以真正付诸实施的步骤，或者有相关的资料可以推荐给我的，请不吝赐教。

[小亮子yo]

引用 2 楼 huxiweng 的回复:

用API远比你爬虫来的简单

请问你用过淘宝的API么？？我真心不太会用淘宝的API的啊。。。大神，有木有这方面的资料之类的，我发现网络并没有太多的资料，求指导。。。

[tony4geek]

淘宝的数据这么不可能这么好抓的。百度一样。 大公司的数据就是金钱岂能白白流出。

[tony4geek]

和他们联系，通过他们的api 。。

[小亮子yo]

作为初学者想请教下。我现在在做毕业设计，方向是获取淘宝的部分数据，利用爬虫或者其他技术。但是我发现利用淘宝的API可能会比较容易，于是着手于淘宝的API研究. 我主要目的是想通过淘宝API以及java代码将淘宝的部分数据保存到SQL SERVER 而已。问题如下： 第一：像我现在只是想获取淘宝的部分数据，在淘宝开放平台创建应用时应该选择买家还是卖家呢？ 第二：架构类型看来我只能选择WEB应用了，可是需要填写回调URL，这里我该填写什么URL呢？？我只想获得部分数据，真不知道这个URL填写什么。。 第三：URL等东西填写完整以后要不要申请对外发布呢？是不是只有对外发布了才能用App key，App Secret这两个参数呢？？ 第四：现在的我一筹莫展啊，不知道该怎么样进行下去，正式环境下tao.user.get 提示我权限不够。 希望大神有时间能够回复下，谢谢了。。。。O(∩_∩)O哈哈~

[小亮子yo]

难不成木有这方面的大神么？？？？？？真心求教啊。。。。

[小亮子yo]

引用 5 楼 rui888 的回复:

和他们联系，通过他们的api 。。

请问你做过类似的么？？有木有经验可以传授的？？

[混沌528]

哥们儿,你的电商爬取(爬虫)做好了吗? 选用的什么开源框架,或者是选用淘宝,京东的API?

[dengfoby]

同求啊，做好了说下思路嘛

[编程原理]

nutch爬虫工具

[会开花的树-]

嚯嚯```能说一下你的毕业设计最胡怎么解决的吗？准备做一个爬虫scrapy爬取商品价格````` 也是毫无思路呢

[黄小财]

默默地问下楼主，搞定 了么

[Smaill_]

做淘系导购架构的来回答你这个问题，淘宝、天猫、聚划算能满足你需求的API都是免费的。每天可以调用100W次！

[陈不在小胖了]

楼主你好，我目前也在做淘宝爬虫方面的，同样遇到了你的问题，请问你是否已经解决，或者有什么心得能够分享的？谢谢拉

[ablackdog]

求更新啊。。。。

[AITAOAITAO]

求更新。。。。。。。。。。。。。。。

[数据工厂]

看来我是来拯救大家的了 哈哈哈 推荐你们一个系列教程 专门是讲怎么写电商（包括淘宝啊京东啊）爬虫的，http://blog.csdn.net/youmumzcs/article/details/51373830，写地通俗易懂，绝对干货！

[麦田的一米阳光]

同求关注 java httpclient 抓取商品数据功能，有没相关的技术，指点下 目前只知识在发生请求时必须传递cookie信息，不然会返回302。

[qq_27324295]

直接调用api不就行了，还用得着去抓取那么麻烦，抓取效率太低了

[baidu_30184771]

楼主做得怎么样了 能交流交流吗

[baidu_30184771]

引用 15 楼 u012989207 的回复:

楼主你好，我目前也在做淘宝爬虫方面的，同样遇到了你的问题，请问你是否已经解决，或者有什么心得能够分享的？谢谢拉

同求 交流