社区
其他数据库
帖子详情
使用Kettle进行数据集成,数据超过4000条时,导致数据不完整..
wangjun_cxy
2013-01-22 09:56:31
Oracle数据库(做A库a表与B库a表的数据同步,每天同步一次)
Kettle 转换过程
1、输入A库中a表的所有数据
2、删除B库中b表的所有数据
3、将A库的a表数据,写入到B库的a表中。
刚开始挺好的,过了几天(数据超过了4000条)问题来了,写入的数据总是不完整,有时只有几百条,反正就再也没完整过了》。。求高手解决
...全文
926
2
打赏
收藏
使用Kettle进行数据集成,数据超过4000条时,导致数据不完整..
Oracle数据库(做A库a表与B库a表的数据同步,每天同步一次) Kettle 转换过程 1、输入A库中a表的所有数据 2、删除B库中b表的所有数据 3、将A库的a表数据,写入到B库的a表中。 刚开始挺好的,过了几天(数据超过了4000条)问题来了,写入的数据总是不完整,有时只有几百条,反正就再也没完整过了》。。求高手解决
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
iihero
2013-01-22
打赏
举报
回复
没完整用过kettle, 你看看是否有批量提交数量的限制方面的设置。
wangjun_cxy
2013-01-22
打赏
举报
回复
帮忙的大哥,请稍微说的详细点,我才用Kettle几次,很多东西都不是很清楚。
Kettle
生
成
1亿条
数据
导入oracle
只
使用
kettle
工具,生
成
了一亿条信用证卡号,导入oracle
数据
库,经测用时30分钟,比较完美的解决了out of memery问题。
2.
使用
kettle
抽取mysql
数据
到hadoop
使用
kettle
(etl工具)将mysql的
数据
抽取到hadoop的文件系统中。
kettle
循环分页迁移
数据
的
完整
例子,一次迁移1w
数据
无压力
kettle
写的循环分页迁移
数据
的例子,迁移了36w
数据
,速度飞快,平均cpu
使用
只有19%。
数据
库表是运营商号段
数据
,网上有,比较大就不放上来了。
Kettle
推送
数据
到Mysql
数据
库表时乱码.docx
Kettle
推送
数据
到Mysql
数据
库表时乱码
KETTLE
时间戳-源
数据
自带时间
在两个
数据
库之间
进行
时间戳
数据
同步,本
kettle
脚本适合源
数据
库已带时间
其他数据库
2,209
社区成员
9,519
社区内容
发帖
与我相关
我的任务
其他数据库
其他数据库开发 其他数据库
复制链接
扫一扫
分享
社区描述
其他数据库开发 其他数据库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章