数据汇总迁移

weixin_42715004 2019-03-18 11:22:28
从大概70张oracle 表中，抽出号码字段，关联id插入新表，最后迁入hive库，70张表的数据超百亿条，全部去重后的大概在15亿左右，求方案，存储过程慢慢抽，太恶心，且开始数据量太大，有么有简单可行的方法？
...全文
140 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
卖水果的net 2019-03-18
  • 打赏
  • 举报
 回复
datax 试试，速度还可以的。
Mricoo_周 2019-03-18
  • 打赏
  • 举报
 回复
引用 1 楼 卖水果的net 的回复:
datax 试试，速度还可以的。
datax跟kettle都有啥优缺点可以讲下不
MySQL 数据库迁移方法汇总
本文汇总了常见的 MySQL 数据库从一个主机迁移到另一个主机的方案和工具，包括 mysqldump、mysqlpump、mydumper / myloader 等，还介绍了主从复制和逻辑备份 + 远程导入的方法，适用于不同规模和需求的迁移场景。
Flask迁移mysql数据库报错汇总
本文汇总了使用Flask框架迁移MySQL数据库时遇到的六个常见错误及其解决方案，包括migrations目录重复创建、删除migrations目录后的重建问题、模型类未导入、datetime模块使用不当等。
access汇总_实用数据库同步工具汇总，帮你找到迁移转换的“最优”选择！
公司搭建数据平台时，旧库数据导入新库存在困难，尤其是不同类型数据库间的同步。本文汇总了SQLyog、Navicat、Ottor等常用数据库同步、迁移转换工具，介绍了各工具的简介、特点、支持功能等，方便大家按需选择。
数据库运维利器：数据迁移、性能监控、数据修复的全面工具汇总
本文汇总了多个数据库运维工具，如 DataX 可实现异构数据源高效同步，RedisShake 用于 Redis 数据迁移备份，MongoShake 针对 MongoDB 数据同步等。这些工具覆盖数据迁移、备份恢复、性能监控等多方面，合理利用可提升数据库管理效率和质量。
Oracle 高级技术

3,499

社区成员

18,709

社区内容

发帖
与我相关
我的任务
社区描述
Oracle 高级技术相关讨论专区
社区管理员
  • 高级技术社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章