什么仇？什么怨？我竟然爱上大数据了！

HXDHXD1 2018-06-06 11:05:06

加精

大数据时代已经到来，它俨然成为了企业的战略资源，成为了提高竞争力的关键要素。为此，各个行业都开始用数据指导决策，从微信朋友圈、淘宝京东等电商APP的商品推荐，今日头条、抖音快手等媒体的新闻和视频推送，甚至到出行路线优化，这背后，都严重依赖于以数据为基础的决策结果。

随着大数据的爆发，中国IT业内环境也将面临新一轮的洗牌，不仅是企业，更是从业人员转型可遇而不可求的机遇。

看下图，在未来技术方向的调查中，工程师最看好的是大数据、人工智能、移动开发、云计算、这几项不分伯仲，是技术人员的最看好的方向。中国大数据技术还处于萌芽状态，因此，现在正是学习大数据技术的最佳时期。

这不，作为资深码农的我，经常在我耳边回响的就是：

看人家XXX，转行做了大数据之后薪资一下子翻了几倍；

看人家XXX，转行做了大数据之后度过了中年危机还做了管理层；

看人家XXX，转行做了大数据之后竟然被妹子倒追......

emmm，内心总是崩腾一万只草泥马....

所以，不甘示弱的我加入了大数据的阵营。

先来了解一下大数据是什么鬼？

大数据本质也是数据，但是又有了新的特征，包括数据来源广、数据格式多样化（结构化数据、非结构化数据、Excel文件、文本文件等）、数据量大（最少也是TB级别的、甚至可能是PB级别）、数据增长速度快等。

针对以上主要的4个特征我们需要考虑以下问题：

数据来源广，该如何采集汇总？对应出现了Sqoop，Cammel，Datax等工具。

数据采集之后，该如何存储？对应出现了GFS，HDFS，TFS等分布式文件存储系统。

由于数据增长速度快，数据存储就必须可以水平扩展。

数据存储之后，该如何通过运算快速转化成一致的格式，该如何快速运算出自己想要的结果？

对应的MapReduce这样的分布式运算框架解决了这个问题；但是写MapReduce需要Java代码量很大，所以出现了Hive，Pig等将SQL转化成MapReduce的解析引擎；

普通的MapReduce处理数据只能一批一批地处理，时间延迟太长，为了实现每输入一条数据就能得到结果，于是出现了Storm/JStorm这样的低时延的流式计算框架；

但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群（包括HDFS+MapReduce+Yarn）和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理（实质上是微批处理）。

而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

为了提高工作效率，加快运速度，出现了一些辅助工具：

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Python语言：编写一些脚本时会用到。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

以上大致就把整个大数据生态里面用到的工具所解决的问题列举了一遍，知道了他们为什么而出现或者说出现是为了解决什么问题，进行学习的时候就有的放矢了。

大数据工程师的技能要求有哪些？

附上大数据工程师技能图：

必须掌握的技能11条：

Java高级(虚拟机、并发)

Linux 基本操作

Hadoop（HDFS+MapReduce+Yarn ）

HBase（JavaAPI操作+Phoenix ）

Hive(Hql基本操作和原理理解）

Kafka

Storm/JStorm

Scala

Python

Spark（Core+sparksql+Spark streaming）

辅助小工具（Sqoop/Flume/Oozie/Hue等）

高阶技能：

机器学习算法以及mahout库加MLlib

R语言

Lambda 架构

Kappa架构

Kylin

Alluxio

大数据开发工程师待遇如何？

大数据开发工程师作为IT类职业中的“大熊猫”，大数据工程师的待遇是非常高的，在这个领域再次给我们展示了“物以稀为贵“的道理。在国内IT、通讯、行业招聘中，有10%的招聘岗位都是和大数据相关的，且比例还在不断的上升。

在美国，大数据工程师平均每年薪酬高达17.5万美元，而在国内，顶尖的互联网类公司，相比于其他岗同等级别的岗位，大数据工程师的薪酬大约要比其他职位高20%至30%，而且很受企业的重视。

看了那些动则年薪百万的报道，哈哈哈，内心真是充满期待。

但是对于基础相对薄弱的我，看了需要掌握的技能后，说心里话，无论从专业还是学习时间上都是有难度的，所以我通过朋友介绍参加由CSDN主办的《大数据就业训练营》。

加入课程后通过高效系统的学习曲线、紧贴市场需求的技能图谱、紧密及时的答疑辅导，帮我最快入门、精通掌握技术语言，经过三个多月的时间学习，顺利毕业并推荐到名企就业，所以以前别人家常常说的那些在我耳畔的话，那个主人就变成了我。

就这样我爱上了大数据，爱上了那个我心仪的姑娘，并且那个姑娘嫁给了我。

CSDN学院精心打造了《大数据就业训练营》来了！划重点：通过4个月系统实训成为一名不低于业界水平的大数据工程师。

由楚门智能数据学院创始人钱老师亲自带队，为想进入大数据行业的程序员们倾情献上，大数据就业特训课程，以助力想学习大数据技能的开发者走向事业的巅峰。

点我直达：大数据工程师实训营！

课程简介

该课程首推业界最先进技术标准，引领行业技术更新：Hadoop3.0、Hive2.0、HBase1.0、Storm1.0、Spark2.2等。完整项目贯穿整个教学体系，提供独家大数据云实验室环境，通过实验室感受 TB级数据分析效果。并有持续 ETL流程，定时ETL流程，多业务并行计算，业务协同管理等场景，做到真实演练。让学员更加深刻体会大数据的独特魅力。

五大项目实战

你可以学到：

Linux实践与Java基础

Hadoop生态体系(HDFS+MapReduce+Pig(选修)+HBase+Zookeeper+Hive+Sqoop+Flume)

Spark核心架构：Scala+Spark 核心、Spark SQL 2.X

流计算引擎：Spark Streaming 2.X＋Storm 1.0＋Kafka

基于Spark的大数据挖掘分析：Spark Mllib(选修))

大数据MPP数据库最佳实践：Impala+Presto(选修)

大数据应用调度工具使用及企业平台实战（Hue+Azakban+Cloudera）

企业级大数据项目实战

想了解更多关于此次特训的详情，可加CSDN课程规划师微信好友进一步了解，更有千元优惠券等你来拿！名额有限，还等什么，扫码加入吧！

联系CSDN学院职场规划师，获取一对一专属服务

（包括：IT职场规划服务/专属折扣）