在Flink SQL代码中操作Paimon

大数据徐葳 2023-11-04 18:02:02

课时名称课时知识点
在Flink SQL代码中操作Paimon在Flink SQL代码中演示如何读写Paimon表
...全文
87 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
2 快速上手使用Paimon数据湖
想要使用Paimon是非常简单的，不需要复杂的安装部署，只需要使用一个jar包即可对它进行操作。目前Paimon主要提供的是SQL层面的API，所以我们在使用Flink操作Paimon的时候需要用到Flink SQL。
3 Paimon数据湖中的表类型详解_paimon表和hive区别
-- /*+ OPTIONS(‘scan.mode’=‘from-snapshot’,‘scan.snapshot-id’ = ‘1’) */ – 通过动态表选项来指定数据读取(扫描)模式，以及从哪里开始读取。|-- /*+ OPTIONS(‘scan.mode’=‘from-snapshot’,‘scan.snapshot-id’ = ‘1’) */ – 通过动态表选项来指定数据读取(扫描)模式，以及从哪里开始读取。
Paimon——官网阅读：Flink 引擎
Paimon——官网阅读：Flink 引擎
Paimon 集成Flink CDC (二） Kafka
Flink提供了几种KafkaCDC格式:canal-json、debezium-json、ogg-json、maxwell-json。如果Kafka主题中的消息是使用更改数据捕获(CDC）工具从另一个数据库捕获的更改事件，则可以使用Paimon 的KafkaCDC。将解析后的INSERT、UPDATE、DELETE消息写入到paimon表中。
揭秘Paimon如何无缝集成Flink
Paimon通过实现Flink的标准连接器接口（如CatalogFactory、DynamicTableSource/SinkFactory）无缝集成到Flink生态中。其核心机制包括：1）利用Java SPI实现自动发现，通过META-INF/services声明工厂类；2）FlinkCatalog作为适配器桥接Flink与Paimon的元数据操作；3）FlinkTableFactory创建包含Paimon特有Writer/Committer算子的Source/Sink。
徐葳的课程社区_NO_1

1

社区成员

86

社区内容

发帖
与我相关
我的任务
社区描述
大数据技术博客
社区管理员
  • 大数据徐葳
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章