-
等级
本版专家分：0结帖率 0% -
请问下 数据预处理与ETL两者有关联吗?数据预处理是不是跟ETL等同的呀?展开阅读全文
-
等级
本版专家分：40 -
还是有很大区别的
ETL主要有3大部分
E
T
L
传统意义上的预处理只是其中一部分
-
等级
本版专家分：0
-
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。
而数据的预处理其实和ETL的本质是一样的，都是通过在不用的业务数据库中将数据导出，然后再运用SSIS工具对含有脏数据，不一致数据、重复数据等进行清洗，最后再将清晰的数据加载到数据仓库中，数据处理最繁琐的一部分就是抽取环节，很是费劲。
-
等级
本版专家分：0
-
UP二楼！@！！——^^^^——
-
等级
本版专家分：100 -
2楼的可以加我Q么,我现在在做这个,有一些问题不理解.想请教你.Q:371246805.万分感谢
- 数据预处理1--ETL和数据清洗
第一个问题，什么是数据预处理？ 数据预处理，英文全称是：data preprocessing，顾名思义就是指在进行对主要的数据进行处理以前对数据进行的一些处理 数据预处理分为： 缺失值处理、异常值处理、特征缩放、数值离散...
- 数据预处理与降维
1 为什么要进行数据预处理 1.1 数据清洗 1.1.1 数据清洗常见问题 a. 缺失值处理 b. 噪声数据处理 c. 异常值处理 d. 脏数据处理 e. 去重处理 f. ETL - extract、transform、load g. 离群点与噪声 噪声： 被测量的...
- 数据清洗与数据预处理浅析
refer=data-analyst-improvement 与自己的一些简单心得整理所得数据清洗与数据预处理在实际中非常重要。在整个项目的开发过程中，数据清洗与预处理的时间通常占到项目总时长的一半以上。而且，数据清洗与预处理的...
- 大数据预处理架构和方法
数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）。本节在介绍大数据预处理基本概念的基础上对数据预处理的方法进行讲解...
- 数据开发常用的几种数据预处理和数据整理方法
本文比较了用于数据准备的几种方法，它们分别是提取-变换-加载批处理（ETL）、流式获取和数据整理。本文还讨论了数据准备如何与可视化分析相关联，以及不同用户角色（如数据科学家或业务分析人员）应如何共同构建...
- R 多变量数据预处理_数据预处理——一步搞定数据清洗
1 关于数据清洗无论是数据分析还是模型开发都绕不开准备数据这一环。有人说，整个数据科学的工作有70%甚至80%的时间都花在了数据准备上。...数据准备过程是从数据收集开始的，通常我们将其称为ETL过...
- 什么是数据仓库？
为什么需要数据仓库？ 传统的数据库中，存放的数据都是一些定制性数据较多，表是二维的，一张表可以有很多字段，字段一字排开，对应的数据就一行一行写入表中，特点就是利用二维表表现多维关系。 但这种表现关系...
- 大数据预处理架构和方法简介
数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（Data Transformation）和数据消减（Data Reduction）。本节在介绍大数据预处理基本概念的基础上对数据预处理的方法进行讲解...
- 数据仓库与ETL的相关定义
什么是数据仓库        传统数据库（DataBase，DB）是长期存储在计算机内的、有组织的、可共享的数据集合。数据仓库（Data Warehouse，DW）是...
- 详解ETL银行数据仓储抽取和加载流程概述
T：转换，将源系统获取的数据进行处理加工，比如数据格式转化、数据精度转换、数据清洗、缺失数据补齐、异常数据排除等。 L：加载，将数据加载到目标数据库(Target)。 ELT也是同样三个单词的首字母组合，只是把T、...
- 数据预处理_数据清理
有大量的数据预处理技术： - - 数据清理：可以用来清楚数据中的噪声，纠正不一致。 - - 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。 - - 数据归约：可以通过如聚集、删除冗余特征或...
- 推荐一款配有强大数据管理和可视化ETL的BI工具
IT部门提供的基本数据处理和基本的关联关系并不能完全满足分析人员的需求。比如分析人员需要根据公司产品销售明细数据分析购买用户的特征，并调整相应的销售策略，这个时候分析人员需要基于销售清单数据，计算一些...
- 机器学习项目中的数据预处理与数据整理之比较
要点 在常见的机器学习/深度学习项目里，...数据整理是数据预处理的重要扩展。它最适合在可视化分析工具中使用，这能够避免分析流程被打断。 可视化分析工具与开源数据科学组件之间，如R、Python、KNIME、RapidMi...
- 关于数据仓库设计中的那些事儿——数据与数据预处理
数据与原始数据 数据挖掘领域，一般针对的是文本类的数据，通俗的来说就是广义上的数字（含日期）和文字。但我更想以更广泛的范围讨论数据挖掘的范畴，所以把图片、视频等数据也涵盖其中了。 对于工程而言，一般以...
- ETL？----数据抽取、数据的清洗转换、数据的加载
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL...
- 大数据处理的基本流程是什么？
很多事情在执行的时候都是有一定的流程的，那么大数据的...这是因为大数据处理的数据来源类型丰富，大数据处理的第一步是对数据进行抽取和集成，从中提取出关系和实体，经过关联和聚合等操作，按照统一定义的格式对...
- 建模-数据预处理
大数据的题对数据缺失现象需要预处理 处理数据缺失的机制 ================================================== 在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量...
- etl报表开发是什么意思_数据仓库建设4——ETL&可视化&运维管理
ETL ETL模块：统一调度管理、统一监控管理、ETL出错管理、ETL回溯处理...操作数据层ETL 将需要处理的数据从业务数据库导入ODS层的预处理过程。主要系统的数据量、环境的异构性、数据的加载方式、数据的加载策略、ET...
- 数据预处理+数据清理
有大量的数据预处理技术： - - 数据清理：可以用来清楚数据中的噪声，纠正不一致。 - - 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。 - - 数据归约：可以通过如聚集、删除冗余特征或聚类来...
- ETL流程、数据流图及ETL过程解决方案
以最小代价（包括对日常操作的影响和对技能的要求）将针对日常业务操作的数据转化为针对数据仓库而存储的决策支持型数据 2.ETL的前提 确定ETL范围 ·通过对目标表信息的收集，确定ETL的范围 选择ETL工具 ·考虑资金 ...
- 数据预处理笔记
数据预处理负责将分散的、异构数据源中的数据如关系数据、网络数据、日志数据、文件数据等抽取到临时中间层，然后进行清洗、转换、集成，最后加载到数据仓库或数据库中，成为通过数据分析、数据挖掘等方式提供决策...
- 数据预处理_数据清理（缺失值、噪声等详细处理）
有大量的数据预处理技术： - - 数据清理：可以用来清楚数据中的噪声，纠正不一致。 - - 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。 - - 数据归约：可以通过如聚集、删除冗余特征或...
- 读书笔记之大数据采集与预处理
1、数据采集过程涉及数据抽取、数据的清洗转换、数据的加载三个过程（即ETL：Extract、Transform、Load），数据采集的ETL工具负责将分布的、异构数据源中的不同种类和结构的数据抽取到临时中间层后进行清洗、转换、...
- 进行数据清洗_数据预处理——一步搞定数据清洗
1 关于数据清洗无论是数据分析还是模型开发都绕不开准备数据这一环。有人说，整个数据科学的工作有70%甚至80%的时间都花在了数据准备上。...数据准备过程是从数据收集开始的，通常我们将其称为ETL过程（Ext...
- 什么是数据仓库？数据仓库的特点与架构演进
1.为什么需要数据仓库？ 在没有数仓之前我们做数据分析到报表展示，依赖的都是从业务数据库中取数据来做分析。业务数据库主要是为业务操作服务，虽然可以用于分析，但需要做很多额外的调整，会存在以下几个问题： ...
- etl：数据清洗的一些梳理
数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。国外有些学术机构会专门研究如何做数据清洗，相关的...
- etl数据抽取工具_常用的ETL工具，Smartbi大数据分析工具
ETL（Extract-Transform-Load ）用来描述将数据从来源端经过萃取（Extract）、转置（Transform）、加载（Load）至目的端的过程，是构建数据仓库重要的一环，是商业智能的核心和灵魂。ETL特色功能管理简单：采用元...
- OLED显示温度和时间-STM32F103C8T6（完整程序工程+原理图+相关资料）.zip
OLED 屏幕显示时间，温度。时间可以校准，屏幕通过取模，可以显示汉字。
- 毕业设计：基于Python的网络爬虫及数据处理（智联招聘）
基于Python的网络爬虫，爬虫目标网站为智联招聘，爬取内容为各职业的薪资、技能要求、工资地点等信息，爬取信息转换为散点图和柱状图，并加入了tkinter图形操作界面以增加毕业设计的工作量。 附带我的毕业论文、附带毕业论文、附带毕业论文，重要的事情说三遍。 这只是个简单得网络爬虫，大佬们无视就好，仅供大家参考，如果觉得可以请留言鼓励一下哈，有啥问题也可以留言，不定时查看。
- c语言项目开发实例
十个c语言案例 （1）贪吃蛇 （2）五子棋游戏 （3）电话薄管理系统 （4）计算器 （5）万年历 （6）电子表 （7）客户端和服务器通信 （8）潜艇大战游戏 （9）鼠标器程序 （10）手机通讯录系统