hadoop streaming reduce报错

hhhhio110 2017-09-12 07:02:46
跑一个hadoop streaming任务报了一个很怪的错误,

File "./reducer.py", line 37
tag = '_#U' if len(time_list) == 2 else '_#A' if time_list[0] == today else '_#B'
^
SyntaxError: invalid syntax

这个应该是编译错误,按理来说所有reduce task都会失败,但实际上是作业跑完了,而且有输出,只有部分reduce task报上面那个错误(这个错误我目前也没找到原因)。
求解。
...全文
243 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
alinly 2017-10-09
  • 打赏
  • 举报
回复

语法有没有错误?

如果没有错误,说明解析某些文件才会触发bug.


reduce 解析的文件不同.

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧