失败任务分析

qq_20880617 2016-12-30 02:56:33

我有个任务执行系统，每次执行会有执行记录，但是有时候我会停机维护，就意味着这段时间内没有记录产生，我希望查找到我所有未执行或者执行失败的任务，这种分析是实时，可以怎么完成，用何种算法？

...全文

368 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统，致力于“解决大数据任务之间错综复杂的依赖关系，整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。DolphinScheduler 发展很快很多公司调度都切换到了DolphinScheduler，掌握DolphinScheduler调度使用势在必行，抓住新技术机遇，为跳巢涨薪做好准备。优秀的框架都是有大师级别的人写出来的，包含了很多设计思想和技术。DolphinScheduler也不例外，它是一个非常优秀的框架，用到很多技术和设计思想，本课程会带大家深入DolphinScheduler框架源码，包括设计的思想和技术都会讲解，DolphinScheduler源码很多，会按照模块进行讲解，学习完课程后，不仅可以熟悉DolphinScheduler使用，而且可以掌握很多优秀的设计思想和技术，给自己的技术带来很大提升，为跳巢涨薪做好准备。

【背景】在研究flink任务失败重试的过程中，遇到了一个问题，具体表现为：在任务重试时，出现与NN连接失败，触发新的一次重试，然后重复此流程，直到达到重试上限后，任务失败退出。本文就总结下整个问题的分析过程，以及涉及到的相关知识点。【问题分析过程】首先查看了任务的日志，发现有如下关键信息：INFO org.apache.hadoop.io.retry.RetryInvocationHandler ...

我们工作的时候，经常会遇见从表面日志中看不出任何的错，或者说一堆error但看上几眼，仍然无头绪的错，例如这一个：pipline-job构建时报错 java.lang.IllegalStateException: Unrecoverable indexation failures: 1 errors among 1 requests 淡定，当你尝试以下方法查找原因失败后后台日志sonar.log 后台日志web.log 其它有的没的日志文件全部看了一遍，发现无论如何，以自己的功力都无法定位

LSF常见问题分析

问题使用NXP的S32芯片开发，环境是S32DS 2018，创建了三个任务，最后发现只有一个任务在运行。找问题 S32DS自带了Freertos的分析调试工具，打开后可以显示任务的状态，heap的使用大小。然后结合debug与assert()发现了是其他两个任务并没有创建。 void my_assert(uint8_t condition,char* file_name,uint32_t line_no) { if(!condition) { printf( "\n[Debug]

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章