spark保存数据到mysql,StringType类型问题

qq_25729999 2017-09-11 03:08:38
spark保存到数据类型到mysql,如果使用append模式,完全按照自己定义的数据表结构插入数据,没有问题;

但是如果使用override模式,spark将会自动建表,String类型对应Text类型,有什么办法可以解决?我需要用varchar类型来对应。

试过自定义数据库方言,但是由于spark已经定义了mysql的方言,我注册自己的方言后,运行结果会匹配中2个(我自定义的和spark自带的),而且spark自带的是用private修饰,我也修改不了。

求指点有什么办法?
spark版本 2.1.0
...全文
403 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧