大数据基本概念浅析及技术简介

快来削我呀 2019-04-18 08:10:02

数据是可以获取和存储的信息。直观而言，表达某种客观事实的数值是最容易被人们识别的数据(因为那是“数”)。但实际上，人类的一切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询到，就都是数据(data)。而大数据首先是数据，其次，它是具备了某些特征的数据。目前公认的特征有四个：Volumne,Velocity,Variety,和Value,简称4V.具体而言： 1.Volumne：大量。就目前技术而言，至少TB级别以下不能成大数据。 2.Velocity:高速。1TB的数据，十分钟处理完，叫大数据，一年处理完，就不能算“大”了。 3.Variety:多样。就内容而言，大数据已经远远不局限数值，文字、图片、语音、图像，一切在网络上可以传输显示的信息，都属于此列。从结构而言，和存储在数据库中的结构化数据不同，当前的大数据主要指半结构化和非结构化的信息，比如机器生成信息(各种日志)、自然语言等。 4. Value:价值。如果不能从中提取出价值，不能通过挖掘、分析，得到指导业务的insights,那这些数据也就没什么用。不过现在还有另外一种提法：只要是数据就都有用，能不能获得价值，是分析人员的能力问题。大数据分析，顾名思义，就是将前述的数据可视化、数据分析、数据挖掘等方法作用到大数据之上。数据可视化指通过图表将若干数字以直观的方式呈现给读者，非常常见的饼图、柱状图、走势图、热点图、K线等等，目前以二维展示为主，不过越来越多的三维图像和动态图也被用来展示数据。大数据技术抽象而言，各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上，形成集群。因此不妨说，云计算是大数据的基础。我了解到的大数据技术有：Hadoop其原理：数据分布式存储，运算程序被发派到各个数据节点进行分别运算(Map)，再将各个节点的运算结果进行合并归一(Reduce)，生成最终结果；Storm，其不同于Hadoop一次性处理所有数据并得出统一结果的作业(job)，Storm对源源导入的数据流进行持续不断的处理，随时得出增量结果；还有Spark；NoSQL 数据库… 大数据概念的兴起正在对我们的社会产生多方面的影响： 1.定量分析因“大数据”而使得人们开始关注“数据”,可谓最首要的影响。尤其对于国内而言，越来越多的决策者开始重视数据的力量，会在决断同时参考各类统计、分析报表，而不再是凭直觉拍脑袋。 2.从必然到相关相对于传统的小数据统计，大数据更关注与发现事物之间的相关性，而非因果关系。人类历经百万年基于数据贫乏的现状而形成的“因为……所以……”的思维习惯，在大数据时代，是否会向“……有关联……”转变? 3.信息安全以今日的技术，一个人的个人信息、网页浏览记录、购物记录、对图书影片等内容的偏好，在浏览不同页面时的行为习惯，如此种种，都可以轻易被商家或某些机构获取。在大数据的笼罩之下，每个人都将无所遁形。那么，对于每个人本该拥有的隐私权，该如何保护? 新技术解决了许多之前无法解决的问题，然而，新生事物也带来了新的问题。像所有技术一样，大数据也是一把 “双刃剑”.能否用其利除其弊，有赖于全社会的共同努力。

...全文