商品价格同步问题

[叫我田小麦]

我们的一个电商系统，商品都是从淘宝、天猫和京东等各大网站上找的，刚开始商品量比较小，商品的价格都是人工的去根据原商品链接人工的去检查，有变化就更改到我们的数据库，每天检查个两次。现在慢慢的做大了，人工去查效率极低，而且一天两次商品的价格有时更新了我们还没变，影响用户体验。后来我们用阿里百川的API借口通过商品的sku可以查询到商品的价格，但是有一些也是不对的。现在经理让我用爬虫去爬取商品的价格，有没有这方面经验的大虾给点建议，爬虫用那种技术怎么爬。

[yahle]

你们的应用场景还算简单，写一个程序去加载对应的界面，通过正则表达式，或者dom查询的方式获得界面上的价格，这就是爬虫。

[学无止境-逆流而上]

htmlcleaner去做，谷歌浏览器安装xpath插件调试，不难，代码上抽象出多线程。

[runnersun]

可以参考http://www.cnblogs.com/wawlian/archive/2012/06/18/2553061.html