spark如何更新mysql已有数据

destiny023 2016-11-10 09:31:15

Dataset<Row>.write().mode(SaveMode.Append).jdbc()
往数据库写数据只有Append,Overwrite,ErrorIfExists,Ignore这几种模式，怎样更新原来的数据，一般是怎么处理的

...全文

1755 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

destiny023 2016-11-10

打赏
举报

看样子最好是只做insert操作了

LinkSe7en 2016-11-10

打赏
举报

引用 3 楼 SomebodyTOLove 的回复:

foreachPartition算子内每条记录查询一次是否有该主键,这种性能如何呢，假如目标表有几千万的数据，这样性能会不会很差？

跑批慢是肯定的。我一个百万级的数据进行全量更新，大概要15-20分钟。MySQL单机的吞吐量就放在这。。。如果要追求速度，目标表又没有其他读取依赖，可以用delete+insert，基本不到2-3分钟就搞定了

destiny023 2016-11-10

打赏
举报

foreachPartition算子内每条记录查询一次是否有该主键,这种性能如何呢，假如目标表有几千万的数据，这样性能会不会很差？

kxiaozhuk 2016-11-10

打赏
举报

建议先delete再insert，速度快，又不会出现update错的情况

LinkSe7en 2016-11-10

打赏
举报

我写了个insertOrUpdate，实际逻辑就是Dataset与目标表结构一致，指定某一字段作为id，foreachPartition算子内每条记录查询一次是否有该主键，如果有就进行update（sql拼装），没有就进行insert 最暴力的做法是delete+insert。。。。

_明月 2016-11-10

打赏
举报

抱歉，由于个人能力有限，帮不了你！

通过以上示例，我们成功地使用 Apache Spark 连接 MySQL 数据库并读取数据。Spark 的强大之处在于其处理大规模数据的能力，尤其是在需要快速分析时。在大数据处理的世界中，Apache Spark 是一个强大的工具，它能够快速处理和分析海量数据。在本篇博客中，我们将通过一个简单的 Scala 示例，演示如何使用 Spark 读取 MySQL 数据库中的数据。以下是我们将要实现的代码，功能是从 MySQL 中读取数据，并统计每个工作职位的出现次数。3.Scala：使用 Scala 编写程序。

基于java应用需要利用Spark读取mysql数据进行数据分析，然后将分析结果保存到mysql中。

本题来源于全国职业技能大赛之大数据技术赛项电商赛题-离线数据处理-抽取什么是全量数据、增量数据？1.全量数据：当前需要迁移的数据库系统的全部数据。2.增量数据：在数据库系统迁移过程中，对比原数据，新产生的数据即为增量数据。用于将MySQL数据库中的数据增量导入到Hive数据仓库中的指定表格中。首先，通过SparkSession读取MySQL数据库中的数据，并创建临时视图。然后，使用Spark SQL查询Hive数据仓库中已存在表格的最大修改时间。接着，通过比较MySQL数据库中数据的修改时间和最大修改时间，

spark对mysql的写入、读取、更新操作技巧

前言本文记录Spark如何在表存在的情况时覆盖写入mysql但不修改已有的表结构，并进行主要的源码跟踪以了解其实现原理。主要场景为先用建表语句建好mysql表，然后用spark导入数据，可能会存在多次全表覆写导入的情况。代码已上传github 主要的参数为.option(“truncate”, true)，可以参考Spark官网http://spark.apache.org/docs/latest/sql-data-sources-jdbc.html 主要代码逻辑为，读取csv，进行日期转化，然后覆盖

Spark

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章