装了hive之后还需要开发相关map reduce程序来使用功能吗

CJ_Company 2013-11-25 02:10:39

我装好了hive 还需要我学习java开发map reduce去开发功能处理吗，还是hive就可以对文件执行类似sql语句的操作得出结果？在线求大神啊，高分啊

...全文

398 4 打赏收藏转发到动态举报

写回复

用AI写文章

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

小爽昵称已被占用 2013-12-05

打赏
举报

可以看下hadoop目录下的sample下的mr代码..

撸大湿 2013-11-26

打赏
举报

hive本身只是MR的SQL封装，如果LZ是DBA，而且平时只是做一些常用统计，H-SQL足够了但是如果需要加入些复杂的功能，则需要JAVA支持，比如UDF函数学习JAVA MR可以帮助我们更好的了解MR的运算方式方法如何在HIVE中合理的分配PARTITION、GROUP，并且在什么时候运用SORT，在MAP端SORT还是在REDUCE端SORT，着都需要一定的积累才能获取的经验

CJ_Company 2013-11-26

打赏
举报

引用 1 楼 tntzbzc 的回复:

hive本身只是MR的SQL封装，如果LZ是DBA，而且平时只是做一些常用统计，H-SQL足够了
但是如果需要加入些复杂的功能，则需要JAVA支持，比如UDF函数
学习JAVA MR可以帮助我们更好的了解MR的运算方式方法
如何在HIVE中合理的分配PARTITION、GROUP，并且在什么时候运用SORT，在MAP端SORT还是在REDUCE端SORT，着都需要一定的积累才能获取的经验

好的谢谢你，因为我刚自学这块的东西，公司也就用列数据库我想提前做好准备应对以后的问题，我应该以什么样的方式来展现java程序，是web后天的形式还是其它的？我用虚拟机装hbase的时候执行它的shell超慢，是不是和一些配置有关？