求教：kettle如何实现把电脑桌面的xls文件（每天会变）同步到oracle数据库中

bdbody 2016-11-22 10:20:42

xls文件每天都会变更，需要每次保存为xls之后再同步到oracle中，是否需要给xls弄个更新的设置？

就是每天都会保存一个xls文件，这个文件的列不变，就是行的内容会变，需要变更之后同步到oracle中，我的打算是给xls弄个更新然后再同步到oracle中，新手，所以想先请教一下大家。

...全文

487 1 打赏收藏转发到动态举报

写回复

用AI写文章

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

IvanO_O 2017-01-16

打赏
举报

excel文件覆盖式的还是？可以设置一个日期变量，每天Excel名称里增加日期，这样就能动态加载excel文件了

用于解决SQLSERVER连接问题驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接问题JAR包。

利用kettle实现数据库之间的数据同步如果你需要做不同数据库之间的数据迁移或者抽取部分数据到另一个数据库，并实现定时数据同步（非实时），那么kettle是一个很好的选择。以mysql数据库—> oracle数据库的定时同步作为案例: 一、工具安装和环境准备安装mysql数据库和oracle数据库 下载pdi-ce-8.2.0.0-342 打开目录下data-integration\Spoon.bat ，即可打开keetle软件二、清楚数据抽取需求抽取数据的mysql数据库表和o

1、ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以掌握一个ETL工具的使用，必不可少。Kettle作为ETL工具是非常强大和方便的。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的，一款针对大数据实时分析的高性能分布式数据库，与之对应的有hadoop生态hive，Vertica和百度出品的palo。这是战斗民族继nginx后，又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题，当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高，按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1，数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3，而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库，主要提供了这几方面的功能：01、集成数据查询功能，支持多种数据库，包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等，并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表，满足大部分的数据展示功能。如果还有其他需求，也可以自开发更多的图表类型，或者嵌入其他的 JavaScript 图表库（如 HighCharts、ECharts）。03、提供细粒度安全模型，可以在功能层面和数据层面进行访问控制。支持多种鉴权方式（如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等）。基于Kettle+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源工具，实现一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解，对电商数据的常见实战指标处理使用kettle等工具进行了详尽讲解，具体指标包括：流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。项目代码也是具有很高的商业价值的，大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术：开发工具为：IDEAKettleClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等课程亮点：1.与企业对接、真实工业界产品2.强大的ETL工具Kettle全流程讲解实现3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操，提供全部代码和资料12.提供答疑和提供企业技术方案咨询

流程如图：第一步：新建转换任务选择数库连接配置第二步：新建oracle数据库连接配置，输入对应的信息，点击测试测试成功则没问题。第三步：新建mysql数据库连接，配置对应信息，点击测试测试成功则没问题。（若报错可能是你得kettle没有配置对应的mysql驱动，则你需要根据你得mysql的版本下载对应的驱动，放在kettle的jar包所在目录）第三步：选择核心对象中输入表输入。第四步：选择核心对象中输出表输出。第五步：将两个组件连接起来使节...

近期涉及一个BI项目初期阶段，构建数据仓库时遇到不少问题，主要问题，来源已下几个方面： 1 不同业务数据放在不同类型的数据库（oracle和mysql的，excel等等）。 2 源端数据库种类不同，表结构创建语句与设计不一，导致不好同步问题。 3 源端数据库只提供只读状态，无法对源端做起停和写操作。 4 源数据库中没有定义和更新时间字段无法做到增量同步。 ...

数据仓库

7,388

社区成员

6,742

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章