求大神解答，远程执行HIVE操作的问题

clarck_913 2015-11-24 04:24:24

我有一个机器A上安装的HIVE +　Hadoop

然后有另外一台机器B上跑了一个程序，现在我需要在B这台机器上来执行一个HIVE任务

比如把一个表中的数据查询出来做计算存储到另外一个表中去。

请问有什么办法实现么？

机器B上只有一个JVM和我自己的程序，它负责调度工作，不做具体的数据计算

...全文

170 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

zhongzehuang 2015-11-26

打赏
举报

回复

有两种方式可以实现:1,把hive和hadoop全部复制到b，配置和a相同。2，a以服务的方式启动，jdbc方式访问。

Hive3.1.2安装教程前言初始准备安装Hive的具体步骤1、下载hive安装包2、解压3、添加Hive核心配置，选择远程MySQL模式4、下载连接MySQL的驱动包到hive的lib目录下5、在MySQL上创建Hive的元数据存储库6、执行Hive的初始化工作7、验证初始化是否成功8、使用hive9、使用beeline ...

本篇文章为大家带来Hive面试指南，文内会有两种题型，问答题和代码题，题目一部分来自于网上，一部分来自平时工作的总结。从3 个方面来设计面试问题，一是 Hive 的基本操作；二是 Hive 的优化操作；三是扩展操作 Hive 的基本操作： Hive 的 Group by 知道有哪些用法？ Hive 的优化操作： Hive 的数据倾斜，该如何处理？ Hive 的扩展：用 Sca...

部署MYSQL为HIVE2.3.9的元数据存储数据库

随着企业数据规模从TB级向PB级跨越，传统关系型数据库（如MySQL）在海量数据存储与分析场景中逐渐显现性能瓶颈。Hive作为Apache基金会旗下基于Hadoop的数据仓库工具，通过类SQL语法（HiveQL）将复杂的MapReduce任务透明化，使数据分析师无需掌握Java编程即可完成大规模数据处理。

1、这个是hive的锁机制，可以暂时关掉，默认是true。关掉之后就可以删除表了，删掉之后可以再把它设置为true。2、在命令行中输入：hive。这个时候就可以顺利的进入HIVE了。当然了，如果你想直接执行HQL脚本文件可以这样：hive -f xxxxx.hql。3 进入hive之后一一般默认的数据库都是default。3、一个卡主可能是数据倾斜了。比如join或者distinct或者group by的时候某一个值占了你的数据绝大部分，相同的值是要分到同一个reduce来做运算的。

Hadoop生态社区

20,842

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章