• 全部
  • ChunJun（原FlinkX）
  • Taier
  • ChengYing
社区首页
2070
我加入的社区
我管理的社区
官方推荐社区 77
其他社区 2070
最新发布
最新回复
标题
阅读量
内容评分
精选
显示侧栏
切换为经典版
数栈DTinsight 11-08
官宣！Taier1.3新版本正式发布，新鲜功能抢先体验
2022年11月7日，Taier1.3版本正式发布！Taier 是一个大数据分布式可视化的DAG任务调度系统，旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。Taier自今年2月份开源之后，得到了社区开发者的广泛支持，我们积极吸收社区开发者的意见建议，不断迭代版本，目前已发布了Taier1.1、Taier1.2这两个大的版本更新。本次发布的Taier1
...全文
6
评分
回复
数栈DTinsight 10-10
开源直播课丨大数据集成框架ChunJun类加载器隔离方案探索及实践
本期我们带大家回顾一下无倦同学的直播分享《ChunJun类加载器隔离》，ChunJun类加载器隔离的方案是我们近期探索的一个新方案，这个方案目前还不是非常成熟，希望能借由此次分享与大家一起探讨下这方案，如果大家有一些新的想法欢迎大家在github上给我提issue或者pr。一、Java 类加载器解决类冲突基本思想在学习方案之前，首先为大家介绍一下Java类加载器解决类冲突的基本思想。01 什么是 Classpath?Classpath是JVM用到的一个环境变量，它用来指示JVM如何搜索Class。
...全文
7
评分
回复
数栈DTinsight 09-28
开源项目丨ChengYing 1.1版本重磅发布：新增超多功能，全新优化体验！
ChengYing是一站式全自动化全生命周期大数据平台运维管家，提供大数据产品的一站式部署、运维、监控服务，其可实现产品部署、产品升级、版本回滚、扩缩节点、日志诊断、集群监控、实时告警等功能，致力于最大化节省运维成本，降低线上故障率与运维难度，为客户提供安全稳定的产品部署与监控。ChengYing脱胎于袋鼠云数栈自主研发的一站式运维管家EasyManager，承袭袋鼠云开源项目名剑家族的概念，取自十大名剑之承影剑，1.0版本于2022年5月30日在github上线。2022年9月13日，ChengYin
...全文
10
评分
回复
数栈DTinsight 09-28
ChunJun&OceanBase联合方案首次发布：构建一体化数据集成方案
8月27日，ChunJun社区与OceanBase社区联合组织的开源线下Meetup成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。这是OceanBase&ChunJun联合解决方案的首次发布，将针对分库分表的实时数据集成、跨集群/租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景，提供高可靠数据集成解决方案。下面为大家带来具体介绍，欢迎分享给更多的开发者和爱好者共同学习、探讨。课件获取：关注公众号“ChunJu
...全文
9
评分
回复
数栈DTinsight 09-13
开源交流丨任务or实例 详解大数据DAG调度系统Taier任务调度
课件获取：关注公众号 “数栈研习社”，后台私信 “Taier” 获得直播课件视频回放：点击这里ChunJun 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个__ STAR！STAR！！STAR！！！（重要的事情说三遍）__技术交流钉钉 qun：30537511前言在分享之前，先为大家介绍一下任务和实例的关系。任务指的是我们在任务开发界面上去创建的任务，比如Spark任务、SparkSQL任务、数据同步任务等，这些任务在开发过程中是静态的脚本，当被提交到计算节点去执行时，被执行
...全文
14
评分
回复
数栈DTinsight 09-13
开源公开课丨ChengYing安装原理剖析
一、直播介绍之前的内容，我们为大家分享了ChengYing入门介绍，以及ChengYing部署Hadoop集群实战，本期我们为大家分享ChengYing安装原理。本次直播我们将详细介绍ChengYing安装原理及卸载原理，以及其中会遇到的常见问题剖析，通过本次分享，希望大家能对ChengYing有更进一步的了解。二、直播主题ChunJun安装原理剖析三、直播时间时间：2022年8月31日晚 19:00--20:00（周三）四、直播地点钉钉技术交流qun（30537511）&B站袋鼠云
...全文
15
评分
回复
数栈DTinsight 09-13
ChunJun Meetup演讲分享 | 基于袋鼠云开源框架的数仓一体化建设探索
8月27日，ChunJun社区联合OceanBase社区举办开源线下Meetup，围绕「构建新型的企业级数仓解决方案」主题，多位技术大牛和现场爱好者汇聚一堂，畅所欲言。会上，袋鼠云大数据引擎开发专家莫问精心准备了一场主题为「袋鼠云开源框架基于数仓的一体化建设探索」的分享，通过“如何围绕数仓一体化建设进行探索”，“引进开源框架后如何解决建设难题”、“开源框架能够带来的收益”三个开发者极其关心的问题，助力快速了解袋鼠云开源框架在数仓一体化方面的能力。秉持一直以来开源开放的初心，本文根据莫问演讲全文整理而来，
...全文
12
评分
回复
数栈DTinsight 09-13
开源交流丨一站式大数据平台运维管家ChengYing安装原理剖析
获取用户自定义的配置，替换组件包内已有的配置：1）获取自定义配置2）根据编排信息设置 ip。
...全文
10
评分
回复
数栈DTinsight 08-30
Ding！您有一份ChunJun实用指南，请查收
ChunJun是易用、稳定、高效的批流一体的数据集成框架，主要应用于大数据开发平台的数据同步/数据集成模块，使大数据开发人员可简洁、快速的完成数据同步任务开发，供企业数据业务使用。本文主要整理ChunJun的各类链接以及如何提交pr、Issue的方法，希望大家更好地参与开源，参与社区。ChunJun百科● 开源地址GitHub：https://github.com/DTStack/chunjunGitee：https://gitee.com/dtstack_dev_0/chunjun● 官方网站
...全文
12
评分
回复
数栈DTinsight 08-30
OceanBase&ChunJun联合Meetup丨邀您齐聚杭州，共享开源盛会
ChunJun社区的开发者们请您查收一份来自杭州的邀请函8月27日下午14:00-17:00杭州·方远海智中心8号楼ChunJun将联合OceanBase举办线下Meetup《构建新型的企业级数仓解决方案》邀请您一起共享开源盛会仅限50个席位 机会不容错过！让我们一起探讨开源框架体系下，如何构建新型的企业级数仓解决方案，更有OceanBase&ChunJun联合解决方案首次发布，让我们一起共聚杭州，共享开源！报名链接：OceanBase&ChunJun联合Meetup
...全文
12
评分
回复
Freedom3568 08-30
数据同步：(开源)基于Flink的数据同步工具Chunjun
Chunjun是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。同时，Chunjun也是支持原生FlinkSql所有语法和特性的计算框架，并且提供了大量案例。参考:https://github.com/DTStack/chunjunhttps://gitee.com/dtstack_dev_0/chunjun............
...全文
21
评分
回复
数栈DTinsight 08-15
开源项目丨一文详解一站式大数据平台运维管家 ChengYing 如何部署 Hadoop 集群
ChengYing除了可自动部署运维外，还可以对接Taier部署Hadoop集群，Taier 是一个大数据分布式可视化的DAG任务调度系统，旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。然后配置SFTP的host，认证方式，默认采用用户名密码方式，输入用户名和密码，并且输入path路径，此路径需要在主机上存在，如果不存在，需要手动创建一个SFTP路径...
...全文
23
评分
回复
数栈DTinsight 08-15
开源公开课丨ChunJun数据传输模块介绍
一、直播介绍之前的内容，我们为大家分享了ChunJun数据还原的DDL模块，以及ChunJun同步Hive事务表，本期我们为大家分享ChunJun数据传输模块介绍。本次直播我们将从ChunJun数据类型转换，到数据传输过程以及ChunJun的序列化实现为大家进行详细讲解，通过本次分享，希望大家能对ChunJun有更进一步的了解。二、直播主题ChunJun数据传输模块介绍三、直播时间时间：2022年8月16日晚 19:00--20:00（周二）四、直播地点钉钉技术交流群（30537511）&a
...全文
20
评分
回复
数栈DTinsight 08-15
加精
Hi，我是ChunJun，一个有趣好用的开源项目
Hi，我是ChunJun，一个有趣好用的开源项目。今天我们正式开通了自己的公众号！欢迎大家关注~数字经济时代，各行各业数字化转型大趋势下，数据要素成为关键。海量多源异构数据汇聚，使得数据同步面临同步速率受限、稳定性差、维护成本高等挑战。批流一体的数据集成框架ChunJun，沉淀了团队六年来在数据同步和集成方面的实践经验，秉承易用、稳定、高效的目标，满足更多用户对新型数据集成管理需求的响应。ChunJun是什么ChunJun是易用、稳定、高效的批流一体的数据集成框架。主要应用于大数据开发平台的数据
...全文
21
评分
回复
数栈DTinsight 08-01
加精
蛟分承影，雁落忘归——袋鼠云一站式全自动化运维管家ChengYing（承影）正式开源
我们兴奋的向大家宣布一个好消息DTstackCon新成员袋鼠云一站式全自动化全生命周期运维管家ChengYing（承影）正式开源项目地址Github开源地址：https://github.com/DTStack/chengyingGitee开源地址：https://gitee.com/dtstack_dev_0/chengying官方文档：https://dtstack.
...全文
50
评分
回复
数栈DTinsight 08-01
大数据开源项目，一站式全自动化全生命周期运维管家ChengYing（承影）走向何方？
原文链接：三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing（承影）课件获取：关注公众号 ** “数栈研习社”，后台私信 “ChengYing”** 获得直播课件视频回放：点击这里ChengYing 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个** STAR！STAR！！STAR！！！**（重要的事情说三遍）技术交流钉钉qun：305375112022年5月30日，袋鼠云对外开源了一站式全自动化运维管家ChengYing（承影），为了帮助社区同学更好的使用C
...全文
48
评分
回复
pierre94 08-01
【FlinkX】数据同步工具的研究与实践
文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) Flink checkpoint机制3) MySQL同步时的断点续传4) 断点续传不是万能的三、开发一...
...全文
44
评分
回复
世界紫草 08-01
Flinkx同步mongodb oplog
基于当前现状，引入Flinkx同步mongodb的oplog来达到近实时同步数据一方面可以减少集群的压力; 此外Flinkx可以监听数据变化及时将数据同步到clickhouse或者kafka中方便做一些近实时的OLAP分析，以及查询。BUG修复由于社区上用flink同步mongodb oplog比较少所以会有一些bug需要修复。在这里介绍我使用过程中修复的bug。1：包路径缺少flinkx导致找不到类解决办法：增加flinkx路径，重新导包2：反序列化获取Mongodbop...
...全文
43
评分
回复
JenneyAes 08-01
flinkx读取hdfs鉴权kerberos
flinkx 验证kerberos hdfs 鉴权，亲测可用
...全文
42
评分
回复
secretWHD 08-01
flinkX快速启动
​在flinkx启动之前，请提前安装git，maven，mysql(已同步mysql为例)。 windows安装提前安装好jdk和maven下载代码1.使用git工具把项目clone到本地，或者直接下载flinkx-1.8.5.zipgit clone https://github.com/DTStack/flinkx.git cd flinkx2.直接下载源码wget https://github.com/DTStack/flinkx/archive/1.8.5.zip unzip flin
...全文
37
评分
回复
发帖
袋鼠云开源社区

14

社区成员

73

社区内容

袋鼠云开源社区是一个为ChunJun、Taier、ChengYing、Molecule等开源项目开发者提供技术交流与知识分享的平台
大数据开源 企业社区 浙江省·杭州市
社区管理员
  • 数栈DTinsight
加入社区
社区公告

袋鼠云开源社区是一个为ChunJun、Taier、ChengYing、Molecule等开源项目开发者提供技术交流与知识分享的平台，欢迎所有的开发者一起来分享和交流经验

项目地址

代码贡献

  • ChunJun：pr

  • Taier：pr

  • ChengYing：pr

  • 注意事项：大家可以直接提交pr，提交之后会有对应的同学去review 合并，提交pr的同学更有机会加入我们共创小组~

 

更多交流渠道

公众号：数栈研习社

B站：https://space.bilibili.com/677474984

钉钉技术交流群：30537511