大数据第二季hadoop

CSDN学习
CSDN学习官方账号
博客专家认证
2018-03-06 08:17:37
徐培成大数据第二季hadoop体系
大数据第三季--kafka(day2)
大数据第三季--kafka(day1)
大数据第三季--flume(day2)
大数据第三季--zk(day1)
大数据第三季--sqoop(day1)
大数据第三季--Pig(day1)
大数据第三季--Hbase(day6)
大数据第三季--Hbase(day5)
大数据第三季--Hbase(day4)
大数据第三季--Hbase(day3)
大数据第三季--Hbase(day2)
大数据第三季--Hbase(day1)
大数据第三季--Hive(day4)
大数据第三季--Hive(day3)
大数据第三季--Hive(day2)
大数据第三季--Hive(day1)
大数据第一季--Hadoop(day16)
大数据第一季--Hadoop(day15)
大数据第一季--Hadoop(day14)
大数据第一季--Hadoop(day13)
大数据第一季--Hadoop(day12)
大数据第一季--Hadoop(day11)
大数据第一季--Hadoop(day10)
大数据第一季--Hadoop(day9)
大数据第一季--Hadoop(day8)
大数据第一季--Hadoop(day7)
大数据第一季--Hadoop(day6)
大数据第一季--Hadoop(day5)
大数据第一季--Hadoop(day4)
大数据第一季--Hadoop(day3)
大数据第一季--Hadoop(day2)
大数据第一季--Hadoop(day1)

徐培成
IT十八掌创始人兼首席大数据开发技术金牌讲师,曾任驿统金(上海)网络技术有限公司总经理,主导与光大银行总行重点合作的阳光驿站金融结算系统的研发,并指导团队在阿里公有云上规划、部署Hadoop大数据集群,以对用户的金融交易日志进行存储和分析,完成从传统RDMBS数据到大数据集群的移植和升级。
相关链接:https://edu.csdn.net/combo/detail/367?utm_source=edu_bbs_autocreate
...全文
27 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
赢在大数据 作者:暂无 来源:《计算机世界》 2012年第35期 如果说传统的商业智能为我们打开了通往智慧世界的一扇窗的话,那么,大数据将为我们开启的就是一道通往智慧世界的大门。 在这个世界里,我们洞悉业务运营的每一个过程; 在这个世界里,我们充分了解我们自己和我们的客户; 在这个世界里,我们的决策不再是拍脑袋,决策理性而且科学。 本报记者 邹大斌 成立于2008年的Vpon威朋是一家移动广告公司,其主营业务之一是接受广告主委托在其合作方推出的移动App上发布广告。上个月Vpon威朋推出了一款名为3S(Sales Supporting System)的系统广告分析系统,这是一套建立在Hadoop平台上的大数据挖掘、分析及处理系统。这套系统的最大作用是能精确地统计和分析用户点击移动应用的时间、地点和各种偏好,从而帮助广告主做出最有效的广告投放决策。成立于2009年的北京百分点信息科技有限公司(以下称百分点)也在做与Vpon威朋类似的事情。百分点推出了一种名为个性化搜索引擎的工具,电子商务网站可以利用它来分析访客的点击行为,找出访客的偏好,进行产品推荐。同样,这个搜索引擎也是基于Hadoop开发。 近几年来,在互联网领域像Vpon威朋、百分点这样利用Hadoop大数据相关技术进行访客点击行为分析,来开展业务的公司越来越多,其中有一大批是对新兴技术敏感的初创公司,同时也不乏像Google、Facebook这样著名的互联网公司。 事实上,"大数据"这股发端于互联网企业的数据分析热潮如今已经超出了互联网领域,部分敢于"尝鲜"的传统企业已经开始部署大数据相关技术,市场增长非常迅猛。根据IDC最新发布的全球大数据市场预测,大数据市场将从2010年的32亿美元增长至2015年的169亿美元,年复合增长率将达到40%。对市场前景的良好预期吸引投资者们纷纷投身其中,目前对于大数据的风投资金已超过5亿美元:去年年底Hadoop版本的主要发布者Cloudera获得4000万美元投资;Cloudera的竞争对手,另一个Hadoop版本发布者——MapR获得了2500万美元的投资;NoSQL数据库厂商10Gen(MongoDB的供应商)和DataStax(Cassandra的供应商)分别获得了3200万美元和1100万美元的融资;今年4月刚刚在纳斯达克进行IPO,融资2.3亿美元??这个名单可以列得很长。 很显然,在市场研究机构和投资者看来,大数据市场现在是如日中天,其热度甚至大有盖过云计算之势。与此同时,"大数据是大忽悠、大谎言"的说法也不绝于耳。纷纷扰扰的市场宣传中,我们究竟该如何认识大数据大数据到底是大机遇还是大骗局? 迎来大数据时代 大数据与数据的爆炸性增长有着密切关系。根据IDC的研究,2010年底全球新生成的数据量已经达到120万PB(或1.2 ZB),这些数据如果使用光盘存储,摞起来可以从地球到月球一个来回(从地球到月球大约24万英里)。IDC预计,到2020年需要存储的数据量将达到35万亿GB,是2010年数据存储量的42倍。 赢在大数据全文共6页,当前为第1页。 赢在大数据全文共6页,当前为第1页。 今天的中国是数据生产的大国。还是IDC提供的数据,截止到2012年6月,中国有近3.9亿的移动客户、5.3亿的互联网客户。在一个比较典型的二级城市中,每个季度就可能产生出200PB的视频数据。 应该说,我们面对的挑战不只是海量数据,还包括越来越繁多的数据格式,特别是非结构化和半结构数据量远远超过传统的结构化数据。研究表明,如今新增数据中80%以上是诸如日志、图片、视频、电子邮件等非结构化或半结构化的数据。这些数据都不能(或者不适合)用传统方法处理,需要有新的思考、新的作为,而这种技术就是大数据。 不过,对于什么是大数据至今并没有明确而且一致的定义。目前关于大数据有两个不同的理解,一个是认为它是一系列的技术,通过这些技术对大量的结构化和非结构化数据进行处理,从而获得各种分析和预测结果;另一个,也是更多的人理 是,简单地称海量的数据集为大数据,本文采用后一种认识。 虽然缺乏对大数据明确的定义,但对大数据三个"V"基本特征各方却是颇有共识,即海量的数据规模(volume)、快速的数据流转(velocity)、多样的数据类型(variety)。这其中,"海量"是大数据引发人们广泛关注的前提,而快速和复杂的数据类型则是引发人们广泛关注的关键。 大数据从何而来 谈到大数据,不得不谈到移动设备。因为我们面对的大数据除了来自企业应用、运营的数据以及供应链、供应商产生的各种各样的数据,还有很大一部分来自社交媒体以及移动应用,而移动智能设备就是背后最大的推手之一。 众所周知,智能移动设备的普及给社会带来诸多变化。其中之一就是人们可以在任何时间、任何地点获取

12,800

社区成员

发帖
与我相关
我的任务
社区描述
CSDN 下载资源悬赏专区
其他 技术论坛(原bbs)
社区管理员
  • 下载资源悬赏专区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧