关于天猫交易数据抓取
我们需要实时监控某些宝贝的成交记录,目前天猫没有开放此类API,而我们目前实现的方式是,通过网页分页抓取,平时交易量小的时候没问题,但是当双十一当天大规模数据爆发的时候,交易记录秒级别的过万,有可能当我们上次任务的页数会被后来的交易量刷掉,这样数据就不准确了,比如如下链接:http://detail.tmall.com/item.htm?spm=a1z10.1.w5003-8595810454.4.WP8quG&id=20639496939&mt=&scene=taobao_shop