社区
IBM开发者
帖子详情
DataStage +shell 在调度问题 在线等
baidu_32575235
2016-04-11 02:16:01
DataStage +shell 在调用时,第一天的是没有问题的,
定时是六点,
* 6 * * * sh /home/a.sh
等到第二天时,却在,三点ds就自动运行了
...全文
1871
回复
打赏
收藏
DataStage +shell 在调度问题 在线等
DataStage +shell 在调用时,第一天的是没有问题的, 定时是六点, * 6 * * * sh /home/a.sh 等到第二天时,却在,三点ds就自动运行了
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
data
stage
培训文档
比较全面的ds基础培训,一些组件的实用说明,
shell
脚本调度,DS定时调度、过程之类的调度
电信EDW系统环境介绍
数据仓库主机(166),部署有数据仓库、ETL后台服务和ETL程序(
data
stage
\
shell
\proc \C++) ETL主机(164 /121),部署有ETL后台服务和ETL程序(
data
stage
\
shell
\proc \C++) 报表服务器主机(168),部署有web服务和cognos服务。 测试服务器主机(174),部署有 edw的web服务器测试环境 etl调度监控程序 emc)
harrier:Harrier是一个由上海浦东发展银行开源的海量作业调度系统,支持各类异构计算平台海量计算作业的配置,管理和监控功能
项目简介 2020年浦发银行大数据中心创立
Data
Ocean数据品牌体系,着眼于金融行业的分类业务主题和数据应用场景,为新业态下的金融业务发展和金融数据生态提供丰富的数据服务与解决方案。整个数据海洋品牌下覆盖的各类基础数据平台,金融数据服务产品,数据治理服务产品,形成了从基础数据平台建设到各类业务场景赋能的完整解决方案和实施方法论。 Harrier海鹞为
Data
Ocean品牌体系下的调度工具类产品,由Java开发,支持Linux,Windows,AIX环境部署,支持各种分布式数据计算平台的作业调度(Hive,Spark,Tera
data
,Oracle,DB2,
Data
Stage
等),支持分类自定义任务作业调度(Java,
Shell
,Python,Perl等)。 项目特点 1.Harrier简化了作业流管理概念,不再以DAG模式处理任务流。 2.Harrier摘要出了计算平台,应用
data
stage
tips 二:使用crontab+
shell
定时调度
data
stage
job
在使用
data
stage
抽取数据的过程中,经常会遇到要求以准实时(如每隔3分钟同步一次数据)进行数据抽取的需求。这些要求可以使用crontab+
shell
来实现。如下图所示,此为整个
shell
调度DS JOB的流程:首先使用dsjob的jobinfo参数获取该JOB的进程号(process_id)和状态值(state).当state异常时,重置该JOB;当state正常时,判断该job是否在运...
Data
stage
调度相关 dsjob
Data
Stage
有他自己的调度,不过个人总觉得修改起来不怎么方便。于是偏向于在Linux下用
shell
调度。最近项目需要,总结了一些,备忘。有什么不对的地方,欢迎指正。 1 dsjob语法 Command Syntax: dsjob [-authfile <authfile> | -file <file> <domain> <
Data
Stag...
IBM开发者
206
社区成员
2,485
社区内容
发帖
与我相关
我的任务
IBM开发者
IBM 开发者
复制链接
扫一扫
分享
社区描述
IBM 开发者
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章