20,842
社区成员
发帖
与我相关
我的任务
分享大数据数据存入hdfs后如何进行数据分析？
新人 才接触大数据，求解
现在把数据存入到了hadoop 的hdfs上面 并关联到hive 当中的表。请问接下来进行数据分析该怎么做呢？
例如：要分析每年每月每天的每个产品的销售情况
是采用hql 语句 读取需要分析的数据出来进行分析嘛？还是怎么做呢？
现在把数据存入到了hadoop 的hdfs上面 并关联到hive 当中的表。请问接下来进行数据分析该怎么做呢？
例如：要分析每年每月每天的每个产品的销售情况
是采用hql 语句 读取需要分析的数据出来进行分析嘛？还是怎么做呢？
...全文
请发表友善的回复…
发表回复
zengjc 2018-08-10
- 打赏
- 举报
一般情况下，如果是类似“分析每年每月每天的每个产品的销售情况”等简单统计分析，直接使用hive的HQL就可以了，类似于sql，比较容易上手。
或者也可以使用impala来编写SQL进行分析，速度比hive快，也能直接读取你已经建好的hive外部表。
大数据平台下的分析，使用自己熟悉的开发方式就行，这样易上手，速度也不慢；等有了更多的性能、功能要求，再选择更合适的开发方式，比如spark、写MR等；
或者也可以使用impala来编写SQL进行分析，速度比hive快，也能直接读取你已经建好的hive外部表。
大数据平台下的分析，使用自己熟悉的开发方式就行，这样易上手，速度也不慢；等有了更多的性能、功能要求，再选择更合适的开发方式，比如spark、写MR等；
五哥 2018-07-25
- 打赏
- 举报
hql进行查询，统计，分组等操作，如果太复杂就自己写UDF(用户自定义函数)呗
一叶飞舟 2018-06-18
- 打赏
- 举报
数据分析，首先制定相应的业务场景，简单的统计查询通过hql就足够了；
复杂一点的场景，可能需要编程实现，中间有可能需要完成清洗、整合加工等数据准备工作。
