数据汇总迁移

weixin_42715004 2019-03-18 11:22:28
从大概70张oracle 表中,抽出号码字段,关联id插入新表,最后迁入hive库,70张表的数据超百亿条,全部去重后的大概在15亿左右,求方案,存储过程慢慢抽,太恶心,且开始数据量太大,有么有简单可行的方法?
...全文
103 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
卖水果的net 2019-03-18
  • 打赏
  • 举报
回复
datax 试试,速度还可以的。
Mricoo_周 2019-03-18
  • 打赏
  • 举报
回复
引用 1 楼 卖水果的net 的回复:
datax 试试,速度还可以的。
datax跟kettle都有啥优缺点可以讲下不

3,491

社区成员

发帖
与我相关
我的任务
社区描述
Oracle 高级技术相关讨论专区
社区管理员
  • 高级技术社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧