sparksql2.0版本如何修改指定行的指定属性?

DEMO13 2021-05-10 11:28:30
sparksql2.0版本如何修改指定行的指定属性(Dateframe)
...全文
2580 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
arcane8964 2021-08-27
  • 打赏
  • 举报
回复

那要看改什么属性了。
下面的例子把所有ColumnName换成小写

scala> spark.version
res0: String = 2.4.7

scala> case class E(ID:Int, NAME:String)
defined class E

scala> val df = Seq(E(1,"N1"), E(2,"N2")).toDF
df: org.apache.spark.sql.DataFrame = [ID: int, NAME: string]

scala> df.printSchema
root
 |-- ID: integer (nullable = false)
 |-- NAME: string (nullable = true)


scala> df.show(false)
+---+----+
|ID |NAME|
+---+----+
|1  |N1  |
|2  |N2  |
+---+----+


scala> df.select(df.columns.map(x => col(x).as(x.toLowerCase)): _*).printSchema
root
 |-- id: integer (nullable = false)
 |-- name: string (nullable = true)


scala> df.select(df.columns.map(x => col(x).as(x.toLowerCase)): _*).show(false)
+---+----+
|id |name|
+---+----+
|1  |N1  |
|2  |N2  |
+---+----+
shiter 熟练 2021-07-02
  • 打赏
  • 举报
回复

应该可以用 withcolumn + udf 的方式进行修改

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧