求助:spark的Dataframe中withColumn方法

强盗的征途 2016-06-17 03:48:15
1、val df = sqlcontext.range(0, 10)
2、val df1 = df.withColumn("uniform", dfdata.col("io"))
3、val df2 = df.withColumn("normal", randn(seed=27))
第二行异常,io missing ; 第三行正常。求解释
...全文
2624 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
LinkSe7en 2016-08-03
  • 打赏
  • 举报
回复
val df = sqlcontext.range(0, 10)
这里创建的DataFrame只有id一个long字段。你选择的字段不存在
kxiaozhuk 2016-08-03
  • 打赏
  • 举报
回复
df.withColumn("uniform", dfdata.col("io")) df的withColumn后面的列只能在df里面挑选,不能从别的DataFrame里面选列

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧