Spring boot操作Doris写入数据

致简致优 2023-01-13 03:33:51

课时名称	课时知识点
Spring boot操作Doris写入数据	Spring boot+mybatis 操作Doris写入数据

...全文

588 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

dataCompare 是一个数据库比对工具：支持hive表数据比对，mysql、Doris 数据比对，实现自动化配置进行数据比对，避免频繁写sql 进行处理，后续考虑支持ck等等功能介绍 (1)低代码配置，即可实现数据表的对比，不需要繁琐的sql开发 (2)目前已经支持如下功能：量级对比、一致性对比、差异case 发现，已经支持MySQL、Hive、Doris (3)后续计划支持：陌生表指针探测，包括：枚举值探测、范围值探测、主键id hash 探测软件架构技术栈: 后端：Spring boot + Mybatis 数据库:MySQL 解析引擎：Antrl 数据存储引擎、计算引擎：Hive、Spark 等运行配置 (1)将sql目录中的sql文件进行运行在数据库，创建库和表 (2)下载发布好的jar(https://github.com/zhugezifang/dataCompare/releases) 或者自己构建jar (3)修改数据库配置信息 application.yml，将数据库连接信息改为步骤(1)的数据库连接信息 47d1145d1

Java 组件和框架汇总

梳理的一些java开发用到上的框架和开发工具，肯定会遗漏，欢迎补充

Spring Boot 整合 Apache Doris：实现海量数据实时OLAP分析实战.在大数据时代，企业对数据分析的实时性、并发性和灵活性提出了前所未有的要求。传统关系型数据库（如 MySQL）难以应对高吞吐写入与复杂聚合查询的双重压力。为此，**Apache Doris** 作为一种高性能、低延迟的 MPP（Massively Parallel Processing）实时分析型数据库，正被越来越多企业用于构建现代化数仓系统。

本文介绍了一个基于Spring Boot的Doris数据库流式加载方案。系统采用分层架构设计，包含配置管理、核心加载、实体映射和业务服务等模块。通过@DorisField注解实现自动化字段映射，支持字段重命名、排序和忽略等特性。核心类DorisStreamLoader提供并行处理、分批加载、GZIP压缩和指数退避重试机制，显著提升数据加载性能。方案采用LinkedHashMap保持字段顺序，内置智能缓存优化反射性能，并通过详细的响应监控确保数据可靠性。性能测试表明，相比传统JDBC方式可提升20-50倍吞吐

H老师的课程社区_NO_1

1

社区成员

20

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章