社区
Oracle
帖子详情
求助,从多个源系统导数据到ods层,怎么确认数据有没有丢失的?
m0_47895636
2020-05-31 02:09:16
多个源系统数据有1000万,结果只导了9950万,我怎么发现少了50万的?
...全文
1428
5
打赏
收藏
求助,从多个源系统导数据到ods层,怎么确认数据有没有丢失的?
多个源系统数据有1000万,结果只导了9950万,我怎么发现少了50万的?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lich2005
2020-08-06
打赏
举报
回复
两边最好有一样的主键数值,这样一对比容易查原因。少数据看看是不是因为有条件过滤掉了。
wildwolv
2020-07-10
打赏
举报
回复
ods层最好这样设计:假设多个源系统10张表的数据需要导入到ods层,就在ods层建10张表与源系统的表一一对应,ods的数据与源系统表数据高度一致,哪里少数据一目了然
xxfamly
2020-06-11
打赏
举报
回复
事前:
1.增加迁移日志,源,应导出,实际导出....
2.目标表中,增加源数据标识,来自哪个库
事后:
找到能标识源的特征数据,一一比对,悲催。
m0_47895636
2020-06-08
打赏
举报
回复
是的,怎么找到少的50万数据呢
学海无涯-回头是岸
2020-05-31
打赏
举报
回复
什么是你怎么发现少了50万? 你的意思是要找到少的50条数据吧?
【项目实战】
ODS
层
创建&
数据
接入
操作说明 此时已经将
数据
从 MySQL 中
导
入到 HDFS 中了,接下来就需要将
数据
导
入到
数据
仓库的
ODS
层
中,完成原始
数据
的存储。 这个部分分为两个阶段,首先在 Hive 中创建
ODS
层
的所有表结构,表结构与
源
系统
(MySQL)一致。之后,使用脚本将 HDFS 中存储的
数据
导
入到 Hive
数据
仓库的
ODS
层
中。
ODS
层
创建 1. 进入 Hive 安装节点(Node03),启动 ...
数据
仓库
ods
层
是啥意思_
ODS
层
简介和
ODS
层
设计
1. 引言本篇主要讲述操作
数据
存储(
ODS
)
系统
产生的背景、定义、特点,以及它与
数据
仓库的区别。在前两篇,笔者介绍了什么是
数据
仓库?为什么需要
数据
仓库?
数据
仓库
系统
的体系结构是什么?因此可能在读者心里已经形成了企业
数据
存储的DB~DW两
层
体系结构的概念,但在实际应用中,并不总是这样,有时候我们可能需要
ODS
这一
系统
来搭建DB~
ODS
~DW三
层
数据
体系,那么什么是
ODS
?为什么需要
ODS
?
ODS
与D...
【架构】
数据
积存功能之
ODS
层
操作
数据
层
ODS
在
数据
仓库的整体架构中讲到,
ODS
层
的
数据
需与原业务
数据
保持一致,且不允许修改,从而完成历史
数据
积存的功能。
数据
管理 但在实际企业开发中,
ODS
层
的
数据
是原始
数据
的一个扩充集,在保留所有原始
数据
的情况下,会增加一些字段用来进行
数据
管理。 如下图所示,为表增加 update_time 字段标识
数据
进入
数据
仓库的时间,from 字段标识
数据
的
源
系统
,update_type 字...
Kettle的全量抽取新手教学(
源
数据
->
ODS
层
)
Kettle的全量抽取新手教学(
源
数据
->
ODS
层
) 这次操作的数仓分为
ODS
层
和DW两
层
,
ODS
层
用O_表名来命名,DW
层
用D_模块名_表名命名。一般情况下都是在服务器下完成Kettle的操作,今天只分享在本地环境下的操作。服务器上的操作只需登录Kettle账号,配上服务器地址即可。(本文使用的是Oracle
数据
库,和MySQL
数据
库略微不同)
源
数据
->
ODS
层
本地安装好Kettle之后,打开安装目录,双击运行Spoon.bat;打开速度稍微有点慢 新建一个转换,直接双击转换或者点
二、
数据
仓库电商项目——
ODS
层
ODS
层
ODS
层
是整个阶段最简单一
层
分
层
,主要职责是建立
数据
原始
层
,将
数据
都保存在HDFS上,经过步骤1我们建立出来了两个
数据
文件夹,一个是db,一个是log,分别代表业务
数据
、用户行为
数据
。
ODS
层
的特点: (1)保持
数据
原貌不做任何修改,起到备份
数据
的作用。 (2)
数据
采用压缩,减少磁盘存储空间(例如:原始
数据
100G,可以压缩到10G左右) (3)创建分区表,防止后续的全表扫描 实现需求 1、选择...
Oracle
17,089
社区成员
55,237
社区内容
发帖
与我相关
我的任务
Oracle
Oracle开发相关技术讨论
复制链接
扫一扫
分享
社区描述
Oracle开发相关技术讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章