spark dataset 写到postgresql 问题

yihua216 2017-06-14 10:04:39
dataset写到postgresql,为什么和出现列名多了双引号?
保存代码如下
try {
finalDataSet.write().mode(SaveMode.Append).
format("jdbc").
option("charset", "utf-8").
option("url", "jdbc:postgresql://localhost:5432/test").
option("dbtable", "student").
option("user", "root").
option("password", "123456").
save();
} catch (Exception ex) {
ex.printStackTrace();
}

然后我在用select * from student;时发现结果集的列名会有双引号,这改如何解决?student表之前是没有自己手动创建的
...全文
959 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
斯温jack 2017-08-02
  • 打赏
  • 举报
回复
你用了append当然需要手动创建 但是默认的write save方式是支持自动创建表的 (把setMode去掉) 这样会根据你的dataframe列类型自动创建表,及相应的列类型 至于有双引号 你先printSchema看一下
LinkSe7en 2017-06-15
  • 打赏
  • 举报
回复
目标JDBC表当然要手工创建,不然让Spark瞎猜会很奇葩的

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧