大数据请教

[数据开发者]

请问各路大神，大数据开发平时工作内容是什么？

[rafeyoung]

这个问题，写代码呗。

[数据开发者]

写SQL还是Java还是Python？

[不住在隔壁的老王]

各个公司定位不一样, 有的做etl, 有的做数据平台, 有的做流式计算, 等等, 总之无非就是大量数据的清洗, 存储, 计算

[亭秋]

还不晓得 正在培训中

[数据开发者]

引用 4 楼 取个名真难死 的回复:

各个公司定位不一样, 有的做etl, 有的做数据平台, 有的做流式计算, 等等, 总之无非就是大量数据的清洗, 存储, 计算

请问ETL一般用什么工具？数据平台怎么做？

[Verkkars]

我也在学习大数据，感觉最核心的地方应该是ETL，hive部分

[magic_kid_2010]

浅层的就数据清洗，有离线统计，还是实时统计。深层的有数据挖掘，数据建模等。

[西門吹牛__Linux]

大数据开发，主要分两部分吧： 1. 大数据平台开发：这部分主要工作就是读源码，按公司对大数据平台的一些需求做调整、优化改进、汉化、开发监控页面等等。甚至是自主研发。 例如：阿里云、华为云、Cloudera等公司。 2. 大数据应用开发：这部分工作主要就是运用公司已搭建的平台，做一些大数据处理、分析、挖掘等方面的工作。比如编程做ETL，或者使用ETL工具；再比如数据入队列、消费、流处理等；数据预处理、数据统计、基本的数据计算分析；深入一些则使用挖掘算法或者行业数据得自写算法等…………内容很多…………