Apache Griffin 原理及在互联网金融数据治理上的应用

[CSDN学习]

该系统采用前后端分离的形式开发，前端采用angularJs、echarts等技术，后端采用SpringBoot+hibernate+mysql+elasticSearch，其中常规监控规则计算引擎通过livy并发提交到Spark集群进行计算，使用线程异步方式对作业状态以及运行日志进行更新；复杂规则及自定义sql规则通过连接hive JDBC在Hadoop集群上进行计算，作业调度框架采用quartz。



1：Apache Griffin框架介绍

3：DQC监控规则设计

3：作业调度

4：告警处理
Mike
某知名互联网金融数仓数据质量项目负责人，工作至今从事数据仓库中数据质量平台搭建，对如何保障数据质量，确保数据可用性等有实际项目的经验。熟悉Spring、Hibernate、SpringMvc、SpringBoot等框架技术，能够很好的整合框架进行系统的开发，熟悉quartz，ElasticSearch、Livy等相关技术
DQC是数据治理的重要项目，目标是为金融数仓的入口、中间层、出口、新上线的表、业务标签等提供核心数据质量检测服务。该平台整体框架基于开源代码Apache Griffin。项目初期与eBay合作，最后根据公司业务需求进行自主研发。DQC拥有自行配置数据检测，添加依赖任务，监控告警，展示报表、问题追踪、故障等级等一套闭环监控处理流程，这个平台的建立让数仓、支付、风控、BI、算法团队等上线作业的数据更加规范，提高了效率，减少了生成数据错误的风险。

相关链接：https://edu.csdn.net/huiyiCourse/detail/815?utm_source=edu_bbs_autocreate

[雷人自雷]

你好，第四点 告警处理 是不是还需要自己开发。