• 全部
  • ChunJun（原FlinkX）
  • Taier
  • ChengYing
社区首页
901
我加入的社区
编程语言&开发工具 216
游戏 14
前端 48
大数据 42
数据结构与算法 13
人工智能 65
开发工具 7
网络 16
物联网 27
区块链 7
移动开发 18
微软开发 9
测试 11
软件工程 25
设计模式 1
操作系统 18
搜索 1
数据库 28
技术团队/企业 33
中间件 2
LBS 1
硬件 11
高校 38
考试认证 2
求职招聘 6
技术大赛 4
安全隐私 5
IT图书&杂志 142
客服专区 1
技术纪念馆 18
其他 41
云计算 21
高校教学 3
区块链 7
最新发布
最新回复
标题
阅读量
内容评分
精选
切换为经典版
数栈DTinsight 1天前
开源项目丨一文详解一站式大数据平台运维管家 ChengYing 如何部署 Hadoop 集群
ChengYing除了可自动部署运维外，还可以对接Taier部署Hadoop集群，Taier 是一个大数据分布式可视化的DAG任务调度系统，旨在降低ETL开发成本、提高大数据平台稳定性，大数据开发人员可以在 Taier 直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。然后配置SFTP的host，认证方式，默认采用用户名密码方式，输入用户名和密码，并且输入path路径，此路径需要在主机上存在，如果不存在，需要手动创建一个SFTP路径...
...全文
浏览
评分
回复
数栈DTinsight 08-01
加精
蛟分承影，雁落忘归——袋鼠云一站式全自动化运维管家ChengYing（承影）正式开源
我们兴奋的向大家宣布一个好消息DTstackCon新成员袋鼠云一站式全自动化全生命周期运维管家ChengYing（承影）正式开源项目地址Github开源地址：https://github.com/DTStack/chengyingGitee开源地址：https://gitee.com/dtstack_dev_0/chengying官方文档：https://dtstack.
...全文
26
评分
回复
数栈DTinsight 08-01
大数据开源项目，一站式全自动化全生命周期运维管家ChengYing（承影）走向何方？
原文链接：三分钟走进袋鼠云一站式全自动化全生命周期运维管家ChengYing（承影）课件获取：关注公众号 ** “数栈研习社”，后台私信 “ChengYing”** 获得直播课件视频回放：点击这里ChengYing 开源项目地址：github 丨 gitee 喜欢我们的项目给我们点个** STAR！STAR！！STAR！！！**（重要的事情说三遍）技术交流钉钉qun：305375112022年5月30日，袋鼠云对外开源了一站式全自动化运维管家ChengYing（承影），为了帮助社区同学更好的使用C
...全文
22
评分
回复
pierre94 08-01
【FlinkX】数据同步工具的研究与实践
文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) Flink checkpoint机制3) MySQL同步时的断点续传4) 断点续传不是万能的三、开发一...
...全文
24
评分
回复
世界紫草 08-01
Flinkx同步mongodb oplog
基于当前现状，引入Flinkx同步mongodb的oplog来达到近实时同步数据一方面可以减少集群的压力; 此外Flinkx可以监听数据变化及时将数据同步到clickhouse或者kafka中方便做一些近实时的OLAP分析，以及查询。BUG修复由于社区上用flink同步mongodb oplog比较少所以会有一些bug需要修复。在这里介绍我使用过程中修复的bug。1：包路径缺少flinkx导致找不到类解决办法：增加flinkx路径，重新导包2：反序列化获取Mongodbop...
...全文
20
评分
回复
JenneyAes 08-01
flinkx读取hdfs鉴权kerberos
flinkx 验证kerberos hdfs 鉴权，亲测可用
...全文
16
评分
回复
secretWHD 08-01
flinkX快速启动
​在flinkx启动之前，请提前安装git，maven，mysql(已同步mysql为例)。 windows安装提前安装好jdk和maven下载代码1.使用git工具把项目clone到本地，或者直接下载flinkx-1.8.5.zipgit clone https://github.com/DTStack/flinkx.git cd flinkx2.直接下载源码wget https://github.com/DTStack/flinkx/archive/1.8.5.zip unzip flin
...全文
16
评分
回复
阿里云开发者
企业官方账号
08-01
FlinkX 如何读取和写入 Clickhouse？
简介：本文将主要介绍 FlinkX 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题：1. FlinkX读写Clickhouse支持哪个版本？、2. ClickHouse读写Clickhouse有哪些参数？、3. ClickHouse读写Clickhouse参数都有哪些说明？本文将主要介绍 FlinkX 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题，FlinkX 插件下载：https://github.com/DTStack/flinkxFl
...全文
18
评分
回复
阿里云开发者
企业官方账号
08-01
FlinkX 如何读取和写入 Clickhouse？
简介：本文将主要介绍 FlinkX 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题：1. FlinkX读写Clickhouse支持哪个版本？、2. ClickHouse读写Clickhouse有哪些参数？、3. ClickHouse读写Clickhouse参数都有哪些说明？本文将主要介绍 FlinkX 读取和写入 Clickhouse 的过程及相关参数，核心内容将围绕以下3个问题，FlinkX 插件下载：https://github.com/DTStack/flinkxFl
...全文
16
评分
回复
杜之心 08-01
flinkx 部署，on yarn模式运行
1.flinkx部署参考官方安装文档，但是会有一些坑wget https://github.com/DTStack/flinkx/blob/1.10_release/docs/quickstart.md2.FlinkX版本需要与Flink版本保持一致，最好小版本也保持一致FlinkX分支Flink版本1.8_releaseFlink1.8.31.10_releaseFlink1.10.11.11_releaseFlink1.11.3不对应在standal
...全文
19
评分
回复
fragrans 08-01
Flinkx 启动类 Launcher 运行流程解析
1. 执行提交命令当我们执行命令运行任务时，例如执行了以下命令：flinkx命令模板：bin/flinkx -mode local \ -job $FLINK_HOME/examples/stream_example.json \ -pluginRoot $FLINK_HOME/plugins \ -confProp "{\"flink.checkpoint.interval\":60000}"当我们执
...全文
13
评分
回复
戚xq 08-01
flinkx测试环境搭建
flinkx是袋鼠云基于flink开发的数据同步服务，其核心实现采用插件加载模式（和datax基本一致）实现多常见的适配。一,安装flink1，下载flink的压缩包(根据flinkx的版本下载flinx)2，解压文件3，配置文件配置在flink的安装目录下的conf下修改master、slaves、flink-conf.yaml三个文件注:windows环境安装flink的相关问题##需要在flink-conf.yaml配置文件中配置如下几个值，不然启动时回报错(值大小根据自己的电脑配置调
...全文
16
评分
回复
贾斯汀玛尔斯 08-01
Flink CDC和FlinkX与数据湖
数据传输工具FlinkX和Flink CDC是目前最主流的工具，其中,Flink CDC 2.0更加友好地支持数据湖
...全文
16
评分
回复
ZhaoYingChao88
博客专家认证
08-01
流处理开源项目flinkStreamSQL FlinkX简介
flinkStreamSQL熟悉flink的应该都了解，flink支持流表之间的join，但到1.6为止都不支持流表和维表的join。浪尖最近，也在开发流平台，需要到flink流表和维表的join。那么针对这个大家第一印象，可以写个算子去实现，比如map等。但是浪尖这里开发的流平台不是说自己写api，而是用户通过sql去实现创建source，sink，udf，sql等，这个时候要进行维表join，大家可能是想到了udf。是的对于只有一个维表的情况下使用udf比较方便，但是多个维表，相对就麻烦很多了。
...全文
15
评分
回复
纯欲天花板_ 08-01
数据集成工具之FlinkX的安装与使用
FlinkX是在是袋鼠云内部广泛使用的基于flink的分布式离线和实时的数据同步框架，实现了多种异构数据源之间高效的数据迁移。
...全文
17
评分
回复
菜鸡努力学习中 08-01
FlinkX的安装与使用
FlinkX安装及数据抽取导入
...全文
17
评分
回复
secretWHD 08-01
第一次 flinkx任务分配资源测试
FlinkX1.10 设置-confProp，最终测试得出结论：说明-confProp的jobmanager.memory.mb参数有效 ，读取flink-conf.Prop的jobmanager.heap.size参数无效说明-confProp的taskmanager.memory.mb参数未生效 ，读取flink-conf.Prop的taskmanager.memory.mb参数有效说明-confProp的parallelism.default参数未生效，读取flink-conf.Prop的
...全文
15
评分
回复
小白文 08-01
FlinkX安装与使用
FlinkX安装上传flinkX解压flinkX#先安装unzipyum install unzip#解压unzip flinkx-1.10.zip -d /usr/local/soft/配置环境变量vim /etc/profile#追加以下内容#flinkxexport FLINKX_HOME=/usr/local/soft/flinkx-1.10export PATH=$FLINKX_HOME/bin:$PATH给bin/flinkx这个文件加上执行权限chmod
...全文
16
评分
回复
周文王的万年历 08-01
FlinkX启动流程分析
base FlinkX源码1.12_release版本flinkX启动主要依赖两部分：flink-client它主要完成解析用户的提交指令，完成作业提交flink-dist这部分是打包后的target，包含了各个异构数据源的connector，和关键的flinkx-core启动脚本：flinx/bin/flinkxA.提交过程：入口类：com.dtstack.flinkx.client.Launcher从main方法开始：1.通过OptionParser类解析校验启动时传入的参数Opt
...全文
16
评分
回复
wuhulala 08-01
FlinkX脏值处理
FlinX脏值处理在大量数据的传输过程中，必定会由于各种原因导致很多数据传输报错(比如类型转换错误)，这种数据DataX认为就是脏数据。​ – by DataX配置实例"dir
...全文
19
评分
回复
发帖
袋鼠云开源社区

14

社区成员

60

社区内容

袋鼠云开源社区是一个为ChunJun、Taier、ChengYing、Molecule等开源项目开发者提供技术交流与知识分享的平台
大数据 开源 浙江省·杭州市
社区管理员
  • 数栈DTinsight
加入社区
社区公告

袋鼠云开源社区是一个为ChunJun、Taier、ChengYing、Molecule等开源项目开发者提供技术交流与知识分享的平台，欢迎所有的开发者一起来分享和交流经验

项目地址

代码贡献

  • ChunJun：pr

  • Taier：pr

  • ChengYing：pr

  • 注意事项：大家可以直接提交pr，提交之后会有对应的同学去review 合并，提交pr的同学更有机会加入我们共创小组~

 

更多交流渠道

公众号：数栈研习社

B站：https://space.bilibili.com/677474984

钉钉技术交流群：30537511