社区
Hadoop生态社区
帖子详情
HIVE作业提交的问题
allenpony
2013-09-04 10:21:31
我有3个sql文件,a,b,c,我需要他并行执行,现在的做法是开3个hive的cli,分别运行a,b,c,有没有办法可以放到一个脚本里一次执行啊?比如我写了个test.sh脚本内容如下
hive -f a.sql
hive -f b.sql
hive -f c.sql
然后去运行,结果成了跑完abc三个顺序运行,有什么办法可以并行跑啊?
...全文
317
2
打赏
收藏
HIVE作业提交的问题
我有3个sql文件,a,b,c,我需要他并行执行,现在的做法是开3个hive的cli,分别运行a,b,c,有没有办法可以放到一个脚本里一次执行啊?比如我写了个test.sh脚本内容如下 hive -f a.sql hive -f b.sql hive -f c.sql 然后去运行,结果成了跑完abc三个顺序运行,有什么办法可以并行跑啊?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
allenpony
2013-09-04
打赏
举报
回复
引用 1 楼 edwardvsnc 的回复:
hive -f a.sql hive -f b.sql & hive -f c.sql & 这样试试。
好用,谢谢
那闯
2013-09-04
打赏
举报
回复
hive -f a.sql hive -f b.sql & hive -f c.sql & 这样试试。
hive
-3.1.2(可供直接下载学习)
Apache
Hive
是一个数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,并提供简单的类 SQL 查询功能。它可以将类 SQL 的语法转换为 MapReduce 任务运行。
Hive
可以对数据进行查询、过滤、合并等操作,并可以将结果输出到文件中。
Hive
还支持用户自定义函数,方便用户进行数据处理。 内容概要: Apache
Hive
3.1.2-bin.tar 包括以下内容: 1.
Hive
安装包:包含了
Hive
的二进制文件和相关依赖库。 2.
Hive
配置文件:包含了
Hive
的配置参数,如
Hive
的数据存储位置、MapReduce 的
作业
提交
参数等。 3.
Hive
元数据存储:
Hive
将元数据存储在关系型数据库中,如 MySQL、PostgreSQL 等。 4.
Hive
的命令行工具和 API:
Hive
提供了一个命令行工具和 API,方便用户进行数据查询和处理。 5.
Hive
的 MapReduce 任务:
Hive
将 SQL 查询转换为 MapReduce 任务,并
提交
到 Hadoop 集群上运行。 适用人群: Apache
Hive
flink写
hive
分区
提交
问题
flink写
hive
分区
提交
问题
Hive
未配置为使用 Spark 服务。
关注微信公共号:小程在线 关注CSDN博客:程志伟的博客
Hive
未配置为使用 Spark 服务。如果将
Hive
作业
提交
到 Spark 执行引擎,这些
作业
不会正确运行。为确保
Hive
on Spark
作业
正确运行,请配置 Spark On YARN 服务属性。 选择apark按钮 在
hive
上就会出现重启标识,点击该标识。 点击重启过期服务 重启中。。。。 重启已经完成,如果有报错,则需要根据报错日志修改。 Hue的警告配置已经完成。 ...
hive
提交
不到yarn_08235.15.1HDFS慢导致
Hive
查询慢
问题
分析
作者:周鹏辉文档编写目的CDH集群在业务高峰的时候,偶尔会出现
Hive
查询慢的现象,本文通过分析
Hive
出现查询慢时候的集群状态,查找导致
Hive
查询慢的原因。文档概述1.异常现象2.异常分析3.总结生产环境1.CDH和CM版本:CDH5.15.1和CM5.15.12.集群启用Kerbeos+OpenLDAP+Sentry异常现象1.10月14日14:40左右,业务反应集群
Hive
查询...
Hive
--
提交
脚本步骤
Hive
提交
脚本步骤 上面的
hive
.sql执行中会有三个参数,需要后期的变动,下面给出执行命令
hive
-f /root/sql/ruu1.sql --
hive
var province_id=844 --
hive
var daySelect=`date +%Y%m%d -d '-9 days'` --
hive
var province_name='广东'
hive
-f /root/sql/ruu1.sql -d province_id=844 -d daySelect=`date +%Y%m%d -d
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章