mapPartitions 内调用外部程序的问题

someone1999 2016-09-02 02:12:50

我希望在rdd的mapPartition函数内进行如下数据处理：
1. 每个rdd的partition存入executor所在的worker节点本地文件，
2. 调用worker节点的命令行程序 mycmd.!! 该命令行程序以1中生成的文件为输入，输出写到指定的文件
这个我调用的是 scala.sys.process._ 内
“ my command program”.!!
在scala下，这步是没有问题的
3. 读取解析2中的输出文件到rdd返回给driver

以上问题出在第二步，exitCode=50

请教有遇到同样问题的朋友吗？

...全文

503 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

某年内调煤流程与秩序管理制度汇编(.doc

HXN3B型机车实现编组站内调机自动化应用的研究.pdf

叫你调出白内光滑的皮肤 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

针对内调原煤可选性变差的问题,石板选煤发电厂通过外购少量优质煤进行合理掺配来改善入选原煤的可选性。为客观、公正地反映外购煤的质量,有效防范煤炭采购过程中的不合理现象,石板选煤发电厂在煤炭资源考察、合同签订、采制化管理、质量异议处理等工作中建立起一套完善的风险防范机制。实践表明,该机制能够客观、真实地反映外购煤的质量,维护供需双方的利益,实现选煤发电厂和供应商的双赢。

人员需求申请表申请单位　申请日期年月日需求职别 □助理管理师 □办事员 □业务人员 □特勤人员 □助理工程师 □技术员 □技师需求名额名需求资格性别 □男（□役毕□未役）□女年龄岁以下内调或外招 □内调 □外招建议人选：教育程度 □研究所 □大学 □专科 □高中 □职高 □初中 □其他经验　经验年数　科系　需求理由说明 □补充离职 □补充调动 □业务扩充请详细说明：需求单位系统副总经理　副处长　各厂人事组　需求单位签办　总公司人力资源处系统　

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章