领导的大数据我有点懵

[朱胖子]

我是一个制造行业it部门的。今天老总给了一个任务。要做一个我们这个行业大数据。什么行业我就不说了用上衣这个词来代替。他想要收集互联网海内外关于上衣的信息。我想了想入口就是有搜索引擎。股市。电商。这几个渠道。但是我不理解这应该叫大数据还是叫数据采集。怎么去采集怎么去转化成数据。求大神们指点指点。而且it部门很小。能力有限。肯定需要外包。查了查好像都是提供工具的。。想了解了解有做这样的公司吗？？

[icchhp]

你们老板需要的是网络蜘蛛.针对他感兴趣的行业信息发布网站自动下载特定列表的数据,并插入到数据库,最后形成可供使用的信息. 举个例子,比如我以前就鼓捣过从招聘网站下载人员简历的网络蜘蛛. 至于你说通过搜索引擎采集数据,那需求就没边了.建议你和你们老板说,做个网络蜘蛛,自动抓取行业内相关上市公司的公开数据(最好限定网站,比如搜狐财经)以及他们在京东,淘宝发布的商品名单