一个分布式的命令执行系统,大家来提提建议

ghw 2004-10-25 03:57:23
一个分布式的命令执行系统,大家来提提建议

硬件环境:已有一个大型的分布式系统(分布在几十个节点,每个节点都有linux工作站)。

需求描述:在各个节点的linux工作站上使用linux命令探测指定的服务器,比如使用ping、traceroute、dig等,然后分析这些返回的结果(不同类型的结果数据有不同的分析方法)。

我的软件划分及工作方式设想如下:
1. 软件分为中央任务生成,中央任务下发,节点任务执行,节点结果传送,中央结果分析
中央任务生成:使用web application方式,由配置人员使用,可配置信息例如linux命令参数、任务执行频率等等。
中央任务下发:使用web service方式,中央把xml格式的任务(包括配置信息)下发到各个节点的linux工作站。
节点任务执行:使用application方式(因为某些命令的执行时间比较长,使用web方式可能会超时),执行中央下发的任务,同时生成结果文件存储。
节点结果传送:把“节点任务执行”生成的结果文件传回到中央。
中央结果分析:按照结果的类型调用不同的分析方法,分析传回中央的结果文件,生成分析结果。

2. 考虑到系统的可靠性要求,在如下位置添加监控:
节点任务执行:任务执行失败的情况下在本地文件系统写日志文件,并发送消息到中央报警。
中央结果分析:发现节点发送上来的结果文件内容无法分析则记入日志后报警。

请大家帮我想想系统中还有什么问题?

另外觉得“节点任务执行”中棘手的问题比较多,比如对任务执行频率的控制(例如某些任务需要1分钟执行一次,某些任务需要5分钟执行一次),另外接到多个任务后如何考虑并发执行等等。

大家讨论讨论,给我点指导思路



...全文
206 10 打赏 收藏 转发到动态 举报
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
星火燎原hly 2021-06-17
  • 打赏
  • 举报
回复

up

皮鲁 2004-10-26
  • 打赏
  • 举报
回复
UP一下,多任务执行时注意内存的使用,避免运行一段时间后OutOfMemory
lanlanq 2004-10-26
  • 打赏
  • 举报
回复
up
cold_blooded 2004-10-26
  • 打赏
  • 举报
回复
没做过, 但支持
kk2486 2004-10-26
  • 打赏
  • 举报
回复
up,呵呵,给分吧
zouyiyy 2004-10-26
  • 打赏
  • 举报
回复
关注中,帮你up一下
tiger_shi 2004-10-26
  • 打赏
  • 举报
回复
up
wandou999 2004-10-26
  • 打赏
  • 举报
回复
uuuuuup*_*
ghw 2004-10-25
  • 打赏
  • 举报
回复
大家帮看看啊,up有分
ghw 2004-10-25
  • 打赏
  • 举报
回复
大家帮看看啊,up有分
内容概要:本文提出一种基于融合鱼鹰搜索行为与柯西变异策略的改进麻雀优化算法(OCSSA),用于优化变分模态分解(VMD)的关键参数(如模态分量数K和惩罚因子α),以实现对滚动轴承振动信号的高效自适应分解,有效抑制模态混叠问题。经过OCSSA优化的VMD对原始信号进行预处理后,将分解得到的本征模态函数(IMF)重构为时频特征矩阵,作为卷积神经网络(CNN)的输入,以自动提取深层次的空间特征;随后,双向长短期记忆网络(BiLSTM)进一步挖掘特征序列中的前后向时序依赖关系,最终实现高精度的故障分类识别。该OCSSA-VMD-CNN-BiLSTM模型在西储大学公开轴承数据集上进行了充分验证,结果表明其在复杂噪声环境下对轴承不同故障类型与程度的诊断准确率显著优于传统方法,充分体现了智能优化算法与深度学习相结合在故障诊断领域的优越性能。; 适合人群:具备信号处理、机器学习及智能优化算法基础知识,从事机械装备状态监测、故障诊断、工业大数据分析等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①解决传统VMD参数依赖经验设定导致信号分解效果不稳定的问题;②提升强背景噪声和工况变化下滚动轴承早期微弱故障的检测灵敏度与分类准确率;③为智能制造和工业互联网背景下的关键设备智能运维与预测性维护提供一套可复现、高性能的技术解决方案。; 阅读建议:此资源以Matlab代码实现为核心,建议读者深入研读算法代码,重点理解OCSSA的寻优机制、VMD参数自适应选择过程以及CNN-BiLSTM的网络构建细节,通过复现完整实验流程,掌握从信号预处理、特征提取到智能分类的全流程关键技术,并尝试在自有数据集上进行迁移应用与性能对比。
源码链接: https://pan.quark.cn/s/a4b39357ea24 接口测试框架(基于json格式、http请求,python3,不兼容python2.x版本) 注:现在基于Excel文件管理测试用例基本实现,) 备注:大家在运行的时候,如果参数不需要key,只需要字典,可以在ddt_case.py和case.py改造parame,注释掉现在的parem,启用新的即可 依赖用例支持用例执行,在testCase的ddt_case.py有实现,逻辑在代码中有写,参数的格式{"name":"$case1=data"}即代表name的值是case1的data字段,简单的实现。 依赖用例是简单的实现,具体在业务上面还有很多复杂的要处理,知识实现了,部分的思路。 (目前在部分window上会出现FileNotFoundError [Errno 2] No such file or directory,这个bug是路径过长,解决方案为吧log日志放在当前目录,或者修改动态生成的文件的名字,给了第一种方式,测试日志放在当前目录) qq交流群:194704520 Alt text 使用的库 requests,绝大部分是基于Python原有的库进行的,这样简单方便, 使用脚本参数分离等思想,尽可能降低代码的耦合度。 如果你不配置钉钉机器人,注释到机器人相关的代码 首先我们来看下我们的目录 Alt text ### 1.Case文件夹用来存放我们的测试用例相关的, test_case用来存储我们的测试数据,Excel管理测试用例,yaml文件管理测试用例,后续要把yaml管理测试用例的也封装出来。 Interface对测试接口相关的封装,包括requests库,发送...
内容概要:本文档围绕“配电网两阶段鲁棒故障恢复研究”展开,提供了完整的Matlab代码实现方案,属于高水平期刊论文的复现资料。研究针对配电网在发生故障后的恢复问题,提出了一种两阶段鲁棒优化方法,有效应对系统中诸如负荷波动、分布式电源出力不确定性等多重不确定因素。第一阶段进行预决策,包括网络重构、关键设备投切等操作;第二阶段则根据实际发生的故障场景进行动态调整与恢复控制,确保系统在故障后仍能安全、稳定、可靠运行。该资源不仅包含可运行的Matlab代码,还隶属于一个涵盖电力系统优化、智能算法、路径规划、机器学习等多个技术方向的综合性科研服务体系。; 适合人群:具备电力系统分析基础、优化理论知识及Matlab编程能力的研究生、科研人员和工程技术人员,特别适用于从事智能电网、配电自动化、故障恢复策略、鲁棒优化等领域研究的专业人士。; 使用场景及目标:① 学习并复现顶刊关于配电网故障恢复的先进优化模型;② 掌握两阶段鲁棒优化在电力系统中的建模思路、求解流程与技术细节;③ 利用所提供的Matlab代码进行算法验证、仿真测试,并在此基础上开展扩展性科研工作,如改进模型、引入新约束或应用于其他系统。; 阅读建议建议结合经典电力系统优化与鲁棒调度相关文献,深入理解两阶段鲁棒优化的数学建模原理与物理背景,通过实际运行和调试代码,观察不同参数设置对优化结果的影响,进而掌握算法的核心机制。同时可参考文档中提及的其他相关研究主题,拓展研究视野,推动科研创新。

67,535

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧