前排提醒：这里是新星计划2023【C语言入门+数据结构与算法分析】学习方向的报名入口，一经报名，不可更换。 ↓↓↓报名方式：（下滑到本页面底部） 一、关于本学习方向导师 博客昵称：凉云生烟 博客主页：个人主页 个人简介：全栈领域新星创作者，阿里

Hive增量查询Hudi表。最近可能会有Spark SQL增量查询Hudi表的需求，并且我发现目前用纯Spark SQL的形式还不能直接增量查询Hudi表，于是进行学习总结一下。本文总结了Spark SQL增量查询Hudi表的一些参数设置，并给出了示例，介绍了使用纯Spark SQL实现增量查询Hudi表的几种方式，不确定未来社区会采用哪种方式，大家目前如果有这种需求的话，可以先选择一种自己喜欢的方式，等未来社区版本支持后，再升级版本。

学习总结Hudi Spark SQL Call Procedures，Call Procedures在官网被称作存储过程（Stored Procedures），它是在Hudi 0.11.0版本由腾讯的ForwardXu大佬贡献的，它除了官网提到的几个Procedures外，还支持其他许多Procedures命令。本文先学习其中的几个我觉得比较常用的命令，主要是查询统计表路径下的各种文件信息。

Hudi源码 | Insert源码分析总结（一）(整体流程)，继续进行Apache Hudi Insert源码分析总结，本文主要分析上文提到的关于的分析一共就这么多，主要是统计record中每个分区路径对应的insert/upsert数量以及upsert数据对应的fileId和,先持久化到.inflight文件中，然后给后面的使用。关于统计的这些信息是如何在中使用的，我们放在下篇文章中分析。

Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。

上篇文章Flink SQL操作Hudi并同步Hive使用总结总结了如何使用Flink SQL读写Hudi并同步Hive，介绍了创建表的各种方式，但是每一种方式都不太完美。本文介绍一种比较完美的方式，通过Hudi HMS Catalog读写Hudi并同步Hive表，这里的Hudi HMS Catalog实际上就是通过上篇文章最后提到的。

我一直是在Win10本地编译Hudi包的，因为这样可以直接在IDEA里修改并调试源码，但是前段时间打包Hudi master代码时，发现在Win10 本地打包出现了异常，原因是因为这个PR：[https://github.com/apache/hudi/pull/6135](https://github.com/apache/hudi/pull/6135) 引入了proto,需要使用protoc编译`.proto`文件，使用的是maven的protoc-jar-maven-plugin，但是通过maven下

记录总结自己第一次如何使用Flink SQL读写Hudi并同步Hive，以及遇到的问题及解决过程。关于Flink SQL客户端如何使用可以参考：Flink SQL 客户端查询Hive配置及问题解决Flink 1.14.3Hudi 0.12.0/0.12.1本文采用Flink yarn-session模式，不会的可以参考之前的文章。下载地址：https://repo1.maven.org/maven2/org/apache/hudi/hudi-flink1.14-bundle/0.12.1/hudi-fli

Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。

参与Apache Hudi开源有一年多的时间了，马上1024了，虽然距离成为Apache Hudi Commiter还有很遥远的距离，但还是想跟大家分享一下自己的开源经验，讲一下自己如何从开源小白成为Apache Hudi Contributor的。

利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表本文简单的对Hudi bootstrap的一些关键的源码逻辑进行了分析，希望能对大家有所帮助。限于精力及能力的原因，有些地方可能不够深入，或者不对的地方，还请大家多多指正，让我们共同进步。

前言学习和使用Hudi近一年了，由于之前忙于工作和学习，没时间总结，现在从头开始总结一下，先从入门开始Hudi 概念Apache Hudi 是一个支持插入、更新、删除的增量数据湖处理框架，有两种表类型：COW和MOR，可以自动合并小文件，Hudi自己管理元数据，元数据目录为.hoodie,具体的概念可以查看官网https://hudi.apache.org/cn/docs/0.9.0/overviewHudi 学习Hudi 官网 https://hudi.apache.org/cn/docs/

前言前段时间研究了一下Kyuubi，主要是安装配置，适配Spark版本，验证Spark Server HA 的功能，基本都验证通过，但是后续没有实际使用，现在回忆总结一下，避免遗忘。主要适配Spark2.4.5 以及 Spark3.1.2版本，同时验证是否支持Hudi。版本说明目前Kyuubi最新版本为1.4，Kyuubi 1.x 默认不支持Spark2，1.4版本默认Spark版本3.1.2,并且默认支持Hudi,但是因hudi0.9版本不支持Spark3.1.2，所以需要hudi0.10.1

前言在上一篇博客HUDI preCombinedField 总结中已经对preCombinedField进行总结过一次了，由于当时对源码理解还不够深入，导致分析的不全面，现在对源码有了进一步的理解，所以再进行总结补充一下。历史比较值上面总结中：DF：无论新记录的ts值是否大于历史记录的ts值，都会覆盖写，直接更新。SQL:写数据时，ts值大于等于历史ts值，才会更新，小于历史值则不更新。这里解释一下原因，首先Spark SQL PAYLOAD_CLASS_NAME 默认值为Expressio

前言总结 HUDI preCombinedField,分两大类总结，一类是Spark SQL,这里指的是merge，因为只有merge语句中有多条记录，讨论preCombinedField才有意义；一类是Spark DF，HUDI0.9版本支持SQL建表和增删改查总结先说结论：Spark DF建表写数据时（含更新）：1、UPSERT，当数据重复时（这里指同一主键对应多条记录），程序在写数据前会根据预合并字段ts进行去重，去重保留ts值最大的那条记录，且无论新记录的ts值是否大于历史记录的ts值，

ogg即Oracle GoldenGate是Oracle的同步工具，本文讲如何配置ogg以实现Oracle数据库增量数据实时同步到kafka中，其中同步消息格式为json。下面是我的源端和目标端的一些配置信息：可在这里或旧版本查询下载注意：源端和目标端的文件不一样，目标端需要下载Oracle GoldenGate for Big Data,......

奖项 奖励规则 奖品 一等奖 原创合格质量的文章数 TOP 10 2022「创作之秋」实体荣誉证书 * 1 2022「创作之秋」定制飞盘 *1 CSDN 定制礼包（定制背包+定制马克杯） * 1 二等奖 原创合格质量的文章数 TOP 11-50 2

欢迎您的到访文章链接：【Qt 学习笔记】详解Qt中的信号和槽 万字总结

欢迎在文章评论区交流讨论文章链接：【Qt 学习笔记】Day4 | 如何在Qt中打印日志 | qDebug的使用 | Assistant的使用

文章链接：Qt 中出现乱码的解释及讨论 欢迎在评论区进行讨论交流

https://blog.csdn.net/m0_63238256/article/details/127460451

以前一直计算机能够计算一个表达式是一件神奇的事情，原来用栈就能实现一个简单后缀表达式的计算！

一个计算中缀表达式的算法题题目链接：表达式转换-洛谷我查了(ASCII 13)是回车键，但是我又能过四个测试集，为什么输出会有回车键的问题呢？谁能救救我啊？万分感谢！下面是我的代码（可能有点乱，抱歉）：程序运行：............

不回溯，C++编程实现候选数法解数独谜题，增加了两个进阶解法——区块摒除和数对法，使原模型的能力得到了很大的提升。

这里提供scratch”小猫走迷宫“游戏用到的图片素材。看如何实现请点击：迷宫游戏是如何一步步实现的

scratch是一款主要面向小朋友们的编程工具，也有很多的大朋友们喜欢它，因为它确实简单而有趣，通过搭积木，就可以建造出一些好玩的程序。下面我将和大家一起完成一个“小猫走迷宫”的游戏。编程工具：scratch网页版程序使用素材：图片素材游戏中，小猫在迷宫中寻找自己的伙伴，然后一起离开这个迷宫的游戏。面对一个较为复杂的问题时，我们可能不知所措，但是如果我们能把它分解成一个个的容易实现的小问题，就好办了。这里博主已经给大家准备好了该程序的图片素材哦！图片另存为到本地，即可直接作为素材使用。需要素材请点击：

scratch是一款主要面向小朋友们的编程工具，也有很多的大朋友们喜欢它，因为它确实简单而有趣，通过搭积木，就可以建造出一些好玩的程序。大家玩过4399的坦克动荡吗？有没有尝试试着自己去实现它呢？本文记录我在使用scratch尝试实现坦克动荡小游戏的过程中，碰到的一些问题。如果坦克已经有一部分在墙上，此时我们无论向哪个方向移动，都会检测到碰墙，然后回到原来的位置。即使只考虑横竖向的墙壁，也有两种情况。那我们又如何判断撞击的墙壁是横向还是竖向？.........

这次记录的是一个跑酷（低配版）模式的小游戏，但是，我们是通过面向摄像头的动作来操纵角色的哦！首先，我们需要一张首尾衔接自然的背景图片。动态背景模拟的原理就是在舞台中放置首尾相连的两张图片。为了让游戏稍稍增加一点难度，我们可以限制只有在一定范围的运动方向和运动距离才可以让程序中的角色做出反应。简单起见，这里我们的程序中始终只有一个小石头，它不断地从舞台的最右边移动到舞台的最左边，然后又回到最右边，就可以模拟出一种有很多石头不断出现的假象。............

种瓜得瓜，种豆得豆。变量是什么形状，对这个变量求得的梯度就是什么形状。我之所以下意识地以为得到的会是一组值而不是一个值，是因为前面看了个对矩阵求梯度的例子，得到的是一组值（一个矩阵）。然后看到这里就混淆了，这里我们求梯度的每个参数对象是一个单个的值，只是数据样本有多个。对矩阵（向量）求梯度梯度是个矩阵（向量）对一个标量求梯度梯度是个标量我还有一个感受就是，作为一个之前惯用C/C++程序员，python变量数据类型的这种灵活性真的让我非常、非常的不适应，我多次因此而蒙圈了，呜。https。..........

一. TypeError: ‘method‘ object is not iterable，意思是类型错误“方法”对象不可迭代。二. 自动求梯度，求函数值了吗？

主要是遇到了“使用全相同值初始化权值参数会导致模型无法训练“的问题，本文是我对该问题的理解和一些处理过程。

在模型训练过程中突然发现，模型的准确率在测试集上居然比在训练集上还要高。但是我们知道，我们训练模型的方式就是在训练集上最小化损失。因此，模型在训练集上有着更好的表现，才应该是正常的现象。那么，是什么导致了在测试集上准确率更高的现象呢？............

我从7月23开始接触机器学习和深度学习，到现在（8月7）差不多两星期了吧。打算小小地总结一下自己这最近两星期的学习过程，也为了自己后面的日子里能够更好地进步。

斐波拉契数列的算法过程介绍，以及C代码实现。

C语言，栈从思路到实现。

题：判断栈的压入、弹出序列能否匹配。提供两个思路：1.使用递归，两个序列作为树的中序和后序遍历顺序，求前序 2. 使用一个辅助栈