大数据数据存入hdfs后如何进行数据分析?

光滑的秃头 2018-06-15 02:57:31
新人 才接触大数据,求解

现在把数据存入到了hadoop 的hdfs上面 并关联到hive 当中的表。请问接下来进行数据分析该怎么做呢?
例如:要分析每年每月每天的每个产品的销售情况
是采用hql 语句 读取需要分析的数据出来进行分析嘛?还是怎么做呢?
...全文
1423 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
zengjc 2018-08-10
  • 打赏
  • 举报
回复
一般情况下,如果是类似“分析每年每月每天的每个产品的销售情况”等简单统计分析,直接使用hive的HQL就可以了,类似于sql,比较容易上手。
或者也可以使用impala来编写SQL进行分析,速度比hive快,也能直接读取你已经建好的hive外部表。
大数据平台下的分析,使用自己熟悉的开发方式就行,这样易上手,速度也不慢;等有了更多的性能、功能要求,再选择更合适的开发方式,比如spark、写MR等;
五哥 2018-07-25
  • 打赏
  • 举报
回复
hql进行查询,统计,分组等操作,如果太复杂就自己写UDF(用户自定义函数)呗
一叶飞舟 2018-06-18
  • 打赏
  • 举报
回复
数据分析,首先制定相应的业务场景,简单的统计查询通过hql就足够了; 复杂一点的场景,可能需要编程实现,中间有可能需要完成清洗、整合加工等数据准备工作。
内容概要:本文围绕“面向高精度电流控制的PMSM多参数PSO辨识模型研究”,系统阐述了基于Simulink的永磁同步电机(PMSM)多参数辨识方法,重点采用粒子群优化算法(PSO)实现对电机关键内部参数的高精度辨识。研究构建了完整的PMSM控制系统仿真模型,结合智能优化算法,解决了传统参数辨识中精度低、收敛慢的问题,有效提升了电流环控制的动态性能与稳态精度。该方法特别适用于对控制精度和响应速度要求较高的工业应用场景,如高性能伺服系统、电动汽车驱动系统等,具有较强的工程实用价值和科研参考意义。文中提供了完整的Simulink仿真模型与配套代码,确保了研究内容的可复现性和实践操作性。; 适合人群:具备电机控制、自动化或电气工程等相关专业背景,熟悉MATLAB/Simulink仿真环境,从事电机驱动系统研发、控制算法设计或相关领域科研工作的工程师及研究生,尤其适合工作1-5年、希望深入理解先进参数辨识技术的研发人员。; 使用场景及目标:①开展高精度PMSM控制系统的设计与参数辨识研究;②学习并掌握PSO等智能优化算法在电机系统参数辨识中的具体实现与调优技巧;③完成学术论文复现、科研项目验证、毕业设计或工程原型开发,提升对现代电机控制核心技术的理解与应用能力。; 阅读建议:建议读者结合提供的Simulink模型与源代码进行动手实践,按照文档逻辑逐步搭建与调试仿真系统,重点关注PSO算法与电机模型的交互机制、目标函数设计及参数收敛过程,通过对比不同工况下的辨识结果,深入理解算法性能与控制精度之间的内在联系。

20,842

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧