社区
Sybase
帖子详情
kettle抽取sybase
windwn
2016-10-13 05:31:20
现在在用kettle做两个sybase之间的抽取工作
有个表比较大,800多w的数据量,但是每次抽取都只能抽取300w左右结束,没有报错,显示正常
是因为我的sybase的连接时间设置的不对么
有没有大神碰到过这个问题,能帮忙解答下,或者kettle有没有其他的抽取方式
...全文
2480
3
打赏
收藏
kettle抽取sybase
现在在用kettle做两个sybase之间的抽取工作 有个表比较大,800多w的数据量,但是每次抽取都只能抽取300w左右结束,没有报错,显示正常 是因为我的sybase的连接时间设置的不对么 有没有大神碰到过这个问题,能帮忙解答下,或者kettle有没有其他的抽取方式
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
MR_SU7
2018-04-26
打赏
举报
回复
楼主你的kettle是什么版本的?连接的sybase的驱动是jconn3吗?我现在也要从sybase抽取数据,但是连接sybase报驱动问题
江河的江
2017-12-25
打赏
举报
回复
你用的插入 还是插入更新啊 ?
windwn
2017-02-28
打赏
举报
回复
慢慢抽吧,现在速度还可以,800w的数据量大约在10分钟左右能抽去完成
ETL之PDI/
Kettle
9.x/8.x案例培训实战从入门到应用案例
学完本课程,您将掌握:PDI/
Kettle
数仓技术PDI/
Kettle
开源免费的ETL推送工具PDI/
Kettle
数据清洗PDI/
Kettle
数据
抽取
PDI/
Kettle
数据挖掘PDI/
Kettle
案例实战PDI/
Kettle
技巧PDI/
Kettle
9.1版本PDI/
Kettle
通用PDI/
Kettle
水壶技术适合人群:需要数据清洗和操作的IT信息化相关人员,IT相关从业人员,大数据工程师,数据库工程师及DBA,数据仓库ETL学习计划:利用碎片化的时间学习即可,每天学习一小时或3个课时即可达到效果;时间充足者,自由安排课程目标:促使教育公平,打破教育壁垒,让ETL更加的大众化使用 课程简介:【可视化介绍】
Kettle
是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration,
Kettle
本意是水壶的意思,表达了数据流的含义。
Kettle
是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据
抽取
高效稳定。【软件版本】 企业用的最多的
Kettle
9.x/8.x/7.x,本教程以最新
Kettle
9.x进行教学【授课方式】 番茄教学法:以知识点为基准,进行独立课时讲解,课时之间低耦合,方便同学利用碎片化时间学习
大战
Sybase
第二回合——
kettle
抽取
sybase
数据
一、失败方案 因为在之前文章
sybase
链接sqlserver中提到过sybse odbc的创建,所以在本文中直接对odbc进行使用。 1.
kettle
9.0 +ODBC
kettle
9 不支持jdk1.7 ,而目前使用的是jdk1.8,jdk1.8不支持odbc连接,所以该方案被pass。 2.
kettle
6+ODBC 经查资料果断换
kettle
6能够支持jdk1.7,但是如果你想保留jdk1.8而且不想换环境变量,...
kettle
优化
抽取
数据速度_
Kettle
性能优化
Kettle
性能优化是一个系统工程,不仅涉及工具本身的优化,更涉及ETL工具之外的诸多因素,比如,ETL要读取数据库,那么目标DMBS的性能,SQL语句,网络等相关因素都影响到执行效率。根据
Kettle
对数据ETL的过程性能调优,主要取决于三个因素:上游渠道,工具的大小与数量,下游渠道。一
Kettle
调优调整JVM大小进行性能优化,修改
Kettle
定时任务中的Kitchen或Pan或Spoon脚...
kettle
不同数据库的数据复制(
sybase
到mysql)
记录
kettle
的常规操作,将不同数据库的数据整合到一个数据库上,本文以将
sybase
上的数据
抽取
放入mysql中为例。 打开spoon.bat后,首先需要连接我们需要使用的
sybase
和mysql服务器(如果
kettle
7.0打开没有任务是没有办法新建数据库连接的,所以需要随便打开一个转换或者作业),双击DB连接或者新建数据库连接来连接需要的数据库。注意连接数据库如果提示失败,...
Kettle
提取数据,数据库中文字符乱码问题
其实也蛮简单的,在sppon.bat文件如下位置添加编码配置,然后重启
kettle
,这个编码格式和你数据库的字符编码格式要一致,比如下面: 至于如何查询数据库的编码格式,百度有很多的。 转载于:https://www.cnblogs.com/liyunzhouts/p/9081100.html...
Sybase
2,596
社区成员
25,614
社区内容
发帖
与我相关
我的任务
Sybase
Sybase相关技术讨论区
复制链接
扫一扫
分享
社区描述
Sybase相关技术讨论区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章