求助，关于比价系统

chenwei175528 2012-05-04 02:46:07

最近想做一个比价系统，类似一淘那样的
请各位大侠从以下几个方面给做一个介绍
1、从产品的角度，应该有哪些功能和流程？
2、从技术角度，应该需要注意哪些？正则这个不用说，肯定是有的，其他的还不是很清楚。分词？解耦？

目前还没决定用什么语言，可能会在.net和python二选一

以前只做过一些简单的抓取价格对比
但是那些都算是小工具是控制台程序相当于定制的

我现在就想做一个类似一淘那样的东西
当然没一淘那么大
能做到对指定的商城做智能抓取价格就可以了

...全文

447 16 打赏收藏转发到动态举报

写回复

用AI写文章

16 条回复

切换为时间正序

请发表友善的回复…

发表回复

ilooknow 2012-05-08

打赏
举报

我同意“fisher_85”的观点，关键是如何提取其他网站的数据！

jyh070207 2012-05-08

打赏
举报

一淘不是已经做得很好了,是一个很好的借用的样板....

chenwei175528 2012-05-08

打赏
举报

[Quote=引用 11 楼的回复:]

就是HTTP抓取呀，这个是关键

然后就是怎么呈现结果（网站）

个人觉得抓取，或者叫爬虫是不是？做的好的话，再丑也行

你做的其实和做个google出来差8多
[/Quote]

和google差不多。。。
没那么复杂

http抓取这个我知道

我只是想主要从产品的角度应该怎么考虑
应该有什么功能

avi9111 2012-05-08

打赏
举报

就是HTTP抓取呀，这个是关键

然后就是怎么呈现结果（网站）

个人觉得抓取，或者叫爬虫是不是？做的好的话，再丑也行

你做的其实和做个google出来差8多

chenwei175528 2012-05-08

打赏
举报

[Quote=引用 4 楼的回复:]

实现抓取再比较，况且抓取的每个网站数据不一样
[/Quote]

这个我知道
我只是想从产品的角度去做这个系统

比如这个系统支持动态的添加想要抓价的网站、产品等
以及针对某个网站的某些智能匹配

这只是一个大概的思路

只是如果从产品方面考虑
我不知道该有什么具体的功能
也不知道这个系统的流程

最好能有个流程图之类的

chenwei175528 2012-05-08

打赏
举报

fisher_85 2012-05-08

打赏
举报

完全自动是不可能的，最多做到半自动化。
因为有些网站的价格是无法抓取的，比如京东的部分商品。
而且会存在一些因素造成自动抓取失败，比如目标网站改版了，html变化了。

我能想到的方法是：
1. 自动抓取各大网站数据
2. 存到自己的数据库
3. 人工处理数据
4. 客户端使用自己数据库中是数据

这种做法的缺点就是，肯定无法抓取到实时的价格数据，数据量也是实际数据的子集。

不知道有没有高手有好方法

chenwei175528 2012-05-08

打赏
举报

[Quote=引用 3 楼的回复:]

楼主没有思路去作这种网站，风险很高。

能随便实现“智能抓取”，那么跟一淘一样大的网站也就是带宽够不够的问题了。
[/Quote]

先不考虑带宽的问题

我只想从产品、技术者两个角度去考虑
其实技术还好说主要是产品这方面我没什么思路

chenwei175528 2012-05-08

打赏
举报

[Quote=引用 2 楼的回复:]

没接触过,不了解!个人观点:抓取各大网站同名,或近似名,再获取价格.
[/Quote]

这个观点太笼统了
我现在做的小工具就是这样

我想把这个东西产品化

想让大家从产品的角度给我点建议

说的通俗点
就是这样的系统应该有什么功能流程图应该是什么样的

chenwei175528 2012-05-08

打赏
举报

[Quote=引用 1 楼的回复:]

购物网站吗
[/Quote]

是想做一个针对购物网站的比价的系统

李小冲 2012-05-08

打赏
举报

看看我的京东抓取站，www.anyuri.com
有兴趣PM我吧

李小冲 2012-05-08

打赏
举报

对于“智能抓取”，不太可能，你可以看看京东的产品，他们的产品价格是图片形式的，你除了利用社会分享那一部分可以取到价格，还可以OCR获取图片价格，还有就是京东的API，对于一家B2C网站都这么麻烦，那“智能抓取”真的会很难，做网站，多和站长聊聊吧，虽然在技术上会比一些所谓的”程序员“稍差些，但是对于网站的理解，他们还是有一定的能力的。