【基础教程】ETL数据处理工具使用说明

大泰格 开发者 2022-03-04 12:11:29

场景：我们在做数据模型（数据集）的时候，源表数据过多或其他复杂原因使得我们必须将源表结构转化、清洗为另一种结构的表，便于我们使用。

工具：自助分析--数据处理

准备工作：将需要转换的表加入到数据源中：自助分析--数据源--选择所在数据源--新增[已有表]，将源表添加到数据源

STEP1：打开数据处理界面，新增转换

 

 

 STEP2：点击新建转换后面的设计，打开一个新窗口

 

STEP3： 拖一个表输出和表输入

STEP4： 双击表输入，选择数据源，编写sql语句

 

STEP5： 连接表输入和表输出，双击表输出，选择数据源，模式名和表。点击更新选择输入和输出字段的关系

STEP6： 点击运行测试抽取结果 

 

 STEP7：使用转换后的表，在数据源，新增已有表，将转化后的表添加到你的数据源，即可使用该表创建数据模型（数据集）

 

...全文
602 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
史上最强-Kettle-培训教程.pdf
Kettle工具使用 培训教程 目录 ETL 简介 KETTLE 简介 KETTLE 安装和运行 KETTLE 菜单简介 KETTLE 案例讲解 控件介绍 日志介绍 一、ETL 简介 ETL 概念简介 ETL相关的质量特性 ETL 在数据仓库项目中的位置 二、kettle 工具简介 Kettle是一款国外开源的ETL工具， 纯java编写，可以在Window、 Linux、Unix上运行，数据抽取高效 稳定 Kettle中有两种脚本文件， transformation（转换）和job （作业），transformation完成 针对数据的基础转换，job则完 成整个工作流的控制。 Kettle 工具的模型架构 kettle 工具的优缺点 优点： 系统开源、免费 安装方便、图形化安装 支持多种数据源 支持多种字符集 具有简单的权限管理 支持各种复杂数据转换 缺点 稳定性差 性能差 缺乏元数据管理 KETTLE 的下载 Kettle可以在 http://kettle.pentaho.org/网站下载 下载kettle压缩包，因kettle为绿色软 件，解压缩到任意本地路径即可 Kettle 运行步骤 双击运行 kettle 文件夹下的 Kettle 文件，出 现 kettle 欢迎界面。 创建资料库(可省略) 创建数据库连接 创建转换 创建Jobs，进行流程化控制 KETTLE 的使用 进入到Kettle目录，如果Kettle部署在windows环 境下，双击运行spoon.bat文件，出现如下界面： Kettle 使用步骤 （1）创建转换 大概的来说一般由三步组成： 输入+转换等中间步骤+输出 （2）创建作业 将已经创建好的转换和相关的作业组件串联起来， 形成一个整体的任务。 Kettle 的执行顺序 作业：分串行执行和并行执行，串行执行是先执行完其中一条线再执 行另一条线，并行是两条线同时执行，同一条线上的两个步聚会先执 行前面的再执行后面的。每个步骤执行结果分两种：true(成 功)/false(失败),根据返回结果可以控制流程走向。 转换：一开始所有步骤同时运行，记录会从最前端的步骤向后传递， 传递到相应步骤则该记录被该步骤作相应处理，处理完成再把记录往 后传递，记录传递分复制和分发两种模式。 KETTLE 的目录介绍 根目录文件夹介绍： 【Docs】存放Kettle各种语言版本的API文档。 【 Launcher 】存放Kettle Spoon加载的一些配置信息。 【 Lib 】存放Kettle所使用到的第三方jar包。比如：数据库驱动包， 如缺少时需要把对应的数据库驱动包放入此文件夹中。 【 Libswt 】存放Kettle对应不同平台的相关UI jar包。 【 Plugins 】存放Kettle自定义插件时，需要把自定义好的插件打成 jar放在此目录。 【 Pwd 】存放Kettle配置集群时所需要的配置文件与加密文件。 【 Samples 】存放Kettle自带的一些Job与Trans实例。 【 Simple-jndi 】存放Kettle使用JNDI方式连接数据源方式的文件 存放目录。目录下的jdbc.properties配置文件中有相应的实例提供 参考。 【 Ui 】存放Kettle初始化使用到的图片及配置信息。 Kettle 菜单介绍-transformation Main Tree菜单列出的是一个 transformation中基本的属性， 可以通过各个节点来查看。 DB连接：显示当前transformation 中的数据库连接，每一个 transformation的数据库连接都需要 单独配置。 Steps：一个transformation中应用 到的环节列表 Hops：一个transformation中应用 到的节点连接列表 转换的菜单介绍： Kettle 菜单介绍-transformation Core Objects菜单列出的是 transformation中可以调用 的环节列表，可以通过鼠标 拖动的方式对环节进行添加。 Input：输入环节 Output：输出环节 Lookup：查询环节 Transform：转化环节 Joins：连接环节 Scripting：脚本环节 转换的菜单介绍： Kettle 菜单介绍-transformation 每一个环节可以通过鼠标拖动来将环节添加到主窗 口中。 并可通过shift+鼠标拖动，实现环节之间的连接。 Kettle 菜单介绍-transformation 转换的常用环节介绍： Kettle 菜单介绍-job Main Tree菜单列出的是一 个Job中基本的属性，可以 通过各个节点来查看。 DB连接：显示当前Job中的数据 库连接，每一个Job的数据库连接 都
Spark分布式内存计算框架视频教程
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。 课程亮点 1，知识体系完备，阶段学习者都能学有所获。 2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。 3，结合工作实践及分析应用，培养解决实际问题的能力。 4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。 5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。 适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。 课程内容 第一章、Spark 基础环境 1.课程安排说明 2.Spark 框架概述 3.快速入门 4.Standalone集群及HA 5.Spark 应用开发入门 6.Spark 应用提交 7.Spark on YARN 8.应用部署模式DeployMode 第二章、SparkCore 模块 1.RDD 概念及特性 2.RDD 创建 3.RDD 函数及使用 4.RDD 持久化 5.案例：SogouQ日志分析 6.RDD Checkpoint 7.外部数据源（HBase和MySQL） 8.广播变量和累加器 9.Spark 内核调度 10.Spark 并行度 第三章、SparkSQL 模块 1.快速入门：词频统计 2.SparkSQL 概述 3.DataFrame 4.RDD与DataFrame转换 5.数据分析SQL和DSL 6.案例：电影评分数据分析 7.DataSet 8.外部数据源Exeternal DataSource 9.集成Hive 10.自定义函数UDF 11.分布式SQL引擎（spakr-sql和Spark ThriftServer） 12.Catalyst 优化器 第四章、离线综合实战 1.综合实战概述（需求、调研、业务） 2.环境搭建（大数据环境和应用开发环境） 3.项目初始化（工具类和属性文件） 4.广告数据ETL 5.Spark 分布式缓存 6.业务报表分析 7.应用执行部署 8.Oozie和Hue集成调度Spark 应用 第五章、SparkStreaming 模块 1.Streaming流式应用概述 2.Streaming 计算模式 3.SparkStreaming计算思路 4.入门案例 5.SparkStreaming工作原理 6.DStream及函数 7.集成Kafka 8.案例：百度搜索风云榜（实时ELT、窗口Window和状态State） 9.SparkStreaming Checkpoint 10.消费Kafka偏移量管理 第六章、StructuredStreaming模块 1.StructuredStreaming 概述（核心设计和编程模型） 2.入门案例：WordCount 3.输入源InputSources 4.Streaming Query 设置 5.输出终端OutputSink 6.集成Kafka（Source和Sink） 7.案例：物联网设备数据分析 8.事件时间窗口分析 9.Streaming Deduplication数据去重 10.Continues Processing连续流处理 第七章、实时综合实战 1.综合实战概述（需求、环境搭建和项目初始化） 2.模拟交易订单数据 3.数据实时ETL存储Kafka 4.实时应用停止 5.实时增量存储（存储HBase和Elasticsearch） 6.实时订单报表（Kafka-StructuredStreaming-Redis） 7.实时应用性能调优（数据本地性、反压机制、动态资源和日志管理）
推荐系统ETL数据分析处理
推荐算法系统ETL数据处理实战 ：一、课程优势本课程有陈敬雷老师的清华大学出版社配套新书教材《分布式机器学习实战》人工智能科学与技术丛书，新书教材配合此实战课程结合学习，一静一动，互补高效学习！本课程由互联网一线知名大牛陈敬雷老师全程亲自授课，技术前沿热门，是真正的互联网工业级实战项目。二、课程简介       搭建完数据仓库和平台之后，我们日常很多工作会做数据处理，也就是ETL，ETL分全量和增量两种处理方式，在推荐系统占用的工作量是比较大的，做一个算法系统，ETL数据处理的也是必须的。 下面来讲讲推荐的ETL数据处理是如何做的？我让我们体验下真实的用户实战场景！三、老师介绍陈敬雷  充电了么创始人，CEO兼CTO陈敬雷，北京充电了么科技有限公司创始人，CEO兼CTO，十几年互联网从业经验，曾就职于用友、中软、凡客、乐蜂网(唯品会)、猎聘网、人民日报(灵思云途)、北京万朝科技，曾任架构师、首席技术官、首席科学家等职务，对业务领域B端、C端、电商、职场社交招聘、内容文娱、营销行业都有着丰富的经验，在技术领域，尤其在大数据和人工智能方向有丰富的算法工程落地实战经验，其中在猎聘网任职期间主导的推荐算法系统项目获得公司优秀项目奖，推荐效果得到5倍的提升。 陈敬雷著有清华大学出版社两本人工智能书籍，分别是《分布式机器学习实战（人工智能科学与技术丛书）》已出版、《自然语言处理原理与实战（人工智能科学与技术丛书）》。 目前专注于大数据和人工智能驱动的上班族在线教育行业，研发了充电了么app和网站，用深度学习算法、nlp、推荐引擎等技术来高效提升在线学习效率。 
使用Python进行ETL数据处理
本文介绍了如何使用Python进行ETL数据处理的实战案例，包括数据提取、数据转换和数据加载三个步骤。我们使用pandas库将CSV文件读取为DataFrame对象，并对其中的销售数据进行了一些处理和转换，然后使用pymysql库将转换后的数据插入到MySQL数据库中。这个实战案例展示了ETL数据处理的基本流程和方法，对于从各种数据源中提取、处理和导入数据的数据仓库建设和数据分析工作具有重要的参考价值。
大数据 ETL 处理工具之 Kettle
大数据 ETL 处理工具之 Kettle
DevBI低代码自助分析开发平台

101

社区成员

59

社区内容

发帖
与我相关
我的任务
社区描述
DevBI低代码自助分析开发平台，是一个基于WEB技术的在线可视化开发工具，以快捷的组件编辑、复用及数据模型建设为基础构建分析主题或业务功能。
社区管理员
  • 大泰格
  • karlkate
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章