102、数据血缘以及元数据管理实战2

youfanedu 2023-01-13 03:16:52

课时名称课时知识点
102、数据血缘以及元数据管理实战2102、数据血缘以及元数据管理实战2
...全文
148 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
[数仓]十二、离线数仓（Atlas元数据管理）
发现此时并未出现期望的血缘依赖，原因是Atlas是根据Hive所执行的SQL语句获取表与表之间以及字段与字段之间的依赖关系的，例如执行insert into table_a select * from table_b语句，Atlas就能获取table_a与table_b之间的依赖关系。本文只包含Solr和Atlas的安装指南，其余所依赖服务的安装请参考前边章节。2.修改Hive配置文件，在/opt/module/hive/conf/hive-site.xml文件中增加以下参数，配置Hive Hook。
元数据管理Atlas
Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。同时可以配合ranger对某个元数据进行权限管理元数据分类支持对元数据进行分类管理，例如个人信息，敏感信息等元数据检索可按照元数据类型、元数据分类进行检索，支持全文检索血缘依赖支持表到表和字段到字段之间的血缘依赖，便于进行问题回溯和影响分析等例如表与表之间的血缘依赖。
【技术分享】 数据治理工具Apache Atlas初体验
企业在数字化转型中会遇到各业务系统多，建设历程长，数据缺乏统一维护，从而导致数据无法贯通，数据字典缺失等问题。数据流转关系往往保留在业务或技术人员的脑海中，难以充分利用和传承。Apache Atlas就是为解决这些问题而产生的数据治理工具，利用Atlas可以自动构建数据字典，自动生成数据血缘，快速检索数据资源，不仅支持Hadoop生态的Hive、HBase、Sqoop等组件，还可以支持传统关系型数据库。 一、框架 上图可以看出，Atlas的框架有两个特点，一是基于Hadoop生态组件搭建，二是架构有些复杂
【重要考点】DAMA国内认证：CDGA数据治理工程师
一个月备考的重点题型总结
实时数仓： Hudi 表管理、Flink 性能调优或治理工具脚本
【代码】实时数仓： Hudi 表管理、Flink 性能调优或治理工具脚本。
徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖
与我相关
我的任务
社区管理员
  • youfanedu
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章