HIVE作业提交的问题

allenpony 2013-09-04 10:21:31

我有3个sql文件，a,b,c，我需要他并行执行，现在的做法是开3个hive的cli，分别运行a,b,c，有没有办法可以放到一个脚本里一次执行啊？比如我写了个test.sh脚本内容如下
hive -f a.sql
hive -f b.sql
hive -f c.sql
然后去运行，结果成了跑完abc三个顺序运行，有什么办法可以并行跑啊？

...全文

317 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

allenpony 2013-09-04

打赏
举报

回复

引用 1 楼 edwardvsnc 的回复:

hive -f a.sql hive -f b.sql & hive -f c.sql & 这样试试。

好用，谢谢

那闯 2013-09-04

打赏
举报

回复

hive -f a.sql hive -f b.sql & hive -f c.sql & 这样试试。

Apache Hive 是一个数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供简单的类 SQL 查询功能。它可以将类 SQL 的语法转换为 MapReduce 任务运行。Hive 可以对数据进行查询、过滤、合并等操作，并可以将结果输出到文件中。Hive 还支持用户自定义函数，方便用户进行数据处理。内容概要： Apache Hive 3.1.2-bin.tar 包括以下内容： 1. Hive 安装包：包含了 Hive 的二进制文件和相关依赖库。 2. Hive 配置文件：包含了 Hive 的配置参数，如 Hive 的数据存储位置、MapReduce 的作业提交参数等。 3. Hive 元数据存储：Hive 将元数据存储在关系型数据库中，如 MySQL、PostgreSQL 等。 4. Hive 的命令行工具和 API：Hive 提供了一个命令行工具和 API，方便用户进行数据查询和处理。 5. Hive 的 MapReduce 任务：Hive 将 SQL 查询转换为 MapReduce 任务，并提交到 Hadoop 集群上运行。适用人群： Apache Hive

flink写hive 分区提交问题

关注微信公共号：小程在线关注CSDN博客：程志伟的博客 Hive 未配置为使用 Spark 服务。如果将 Hive 作业提交到 Spark 执行引擎，这些作业不会正确运行。为确保 Hive on Spark 作业正确运行，请配置 Spark On YARN 服务属性。选择apark按钮在hive上就会出现重启标识，点击该标识。点击重启过期服务重启中。。。。重启已经完成，如果有报错，则需要根据报错日志修改。 Hue的警告配置已经完成。 ...

作者：周鹏辉文档编写目的CDH集群在业务高峰的时候，偶尔会出现Hive 查询慢的现象，本文通过分析Hive出现查询慢时候的集群状态，查找导致Hive查询慢的原因。文档概述1.异常现象2.异常分析3.总结生产环境1.CDH和CM版本：CDH5.15.1和CM5.15.12.集群启用Kerbeos+OpenLDAP+Sentry异常现象1.10月14日14:40左右，业务反应集群Hive查询...

Hive提交脚本步骤上面的hive.sql执行中会有三个参数，需要后期的变动，下面给出执行命令 hive -f /root/sql/ruu1.sql --hivevar province_id=844 --hivevar daySelect=`date +%Y%m%d -d '-9 days'` --hivevar province_name='广东' hive -f /root/sql/ruu1.sql -d province_id=844 -d daySelect=`date +%Y%m%d -d

Hadoop生态社区

20,848

社区成员

4,696

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章