scala把结果传到hdfs上带了括号,如何去掉

qq_42481749 2018-06-18 08:33:12
结果是这样,传到hdfs是这样 求如何才能去掉括号,最好能解释下怎么做,谢谢大佬们
...全文
915 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
NightFall丶 2021-02-15
  • 打赏
  • 举报
回复 1
输出前map一次不加括号就可以了 e.g. .map(x=>val first = x._1 val second = x._2 val third = x._3 val four = x._4 first+"\t"+second+"\t"+third+"\t"+four }).saveAsTextFile("hdfs://single:9000//app/data/result")
qq_42481749 2018-06-20
  • 打赏
  • 举报
回复
有大神会么,卡在这几天了
qq_42481749 2018-06-20
  • 打赏
  • 举报
回复
引用 4 楼 SXJIAKE 的回复:
没用过命令行版本。我这里将 rdd 格式化输出到 hdfs 的 scala 代码是这么写的:
rdd3.map(item => {
(NullWritable.get(), new Text(item._1 + ", " + item._2));
}).saveAsHadoopFile[TextOutputFormat[NullWritable, Text]](dir);
dir 是输出的 hdfs 目录。


不适用额
「已注销」 2018-06-20
  • 打赏
  • 举报
回复 1
没用过命令行版本。我这里将 rdd 格式化输出到 hdfs 的 scala 代码是这么写的:
rdd3.map(item => {
  (NullWritable.get(), new Text(item._1 + ", " + item._2));
}).saveAsHadoopFile[TextOutputFormat[NullWritable, Text]](dir);
dir 是输出的 hdfs 目录。
qq_42481749 2018-06-19
  • 打赏
  • 举报
回复
引用 1 楼 SXJIAKE 的回复:
你直接把元组数组打印出来它自然就是那个样子了,你自己用 println 的方式打印一下不就完了。
可还是没用,打印后还是有括号,那怎么去除呢
qq_42481749 2018-06-19
  • 打赏
  • 举报
回复
可还是没用,打印后还是有括号,那怎么去除呢
「已注销」 2018-06-19
  • 打赏
  • 举报
回复
你直接把元组数组打印出来它自然就是那个样子了,你自己用 println 的方式打印一下不就完了。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧