有大数据处理需求？数据从哪来啊？

hhsw1234 2016-05-17 10:15:17

我们都有大数据处理需求？想问一下大家需要的数据都是从哪儿来的，应该到哪儿去寻找适合的数据。。。

...全文

506 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

chyanch 2016-05-18

打赏
举报

回复

业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征，符合这些特征的数据来源可以认为是大数据。通常来自于传统数据库／数仓中的结构化数据，以及来自于社交网络／移动终端／网络点击流等各种半结构或非结构化的数据。

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答大数据处理流程主要分为3步： 1.数据抽取和集成 2.数据分析 3.数据解释补充 1.数据抽取与集成由于大数据处理的数据来源类型丰富，利用多个数据库来接收来自客户端的数据，包括企业内部数据库、互联网数据和物联网数据，所以需要从数据中提取关系和实体，经过关联和聚合等操作，按照统一定义的格式对数据

1. 大数据处理之一：采集大数据的采集是指利用多个数据库来接收发自客户端(Web、App或者传感器形式等)的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有...

大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。大数据时代处理数据理念的三大转变：要全体不要抽样，要效率不要绝对精确，要相关不要因果。大数据处理的流程　　具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。整个处理流程可以概括为四步，分别是采集、导入...

　　具体的大数据处理方法确实有很多，但是根据笔者长时间的实践，总结了一个普遍适用的大数据处理流程，并且这个流程应该能够对大家理顺大数据的处理有所帮助。大数据来源广泛，应用需求和数据类型都不尽相同，不过最基本的处理流程是一样的。　　大数据处理的基本流程　　一般来说，大数据处理的基本流程可以分为数据抽取与集成、数据分析和数据解释这三个步骤。　　一、数据抽取与集成　　大数据来源广泛、种类多样、数据类型极其复杂，就像是想要从海水当中萃取盐分一样，想要从这样庞大杂乱的数据中提取...

在大数据时代，传统的大数据处理技术还管用吗?大数据处理环节下的需求大数据环节下的数据来源是非常多，而且类型也很多花样，存储和数据处理的需求量很大，对于数据展现也非常的高，并且很看重数据处理的高效性和可用性。大数据环境下的数据处理需求大数据环境下数据来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，对数据展现的要求较高，并且很看重数据处理的高效性和可用性。传统大数据处理方法的不足传统的数据采集...

742

社区成员

901

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章