HUDI preCombinedField 总结(二)-源码分析
前言在上一篇博客HUDI preCombinedField 总结中已经对preCombinedField进行总结过一次了,由于当时对源码理解还不够深入,导致分析的不全面,现在对源码有了进一步的理解,所以再进行总结补充一下。历史比较值上面总结中:DF:无论新记录的ts值是否大于历史记录的ts值,都会覆盖写,直接更新。SQL:写数据时,ts值大于等于历史ts值,才会更新,小于历史值则不更新。这里解释一下原因,首先Spark SQL PAYLOAD_CLASS_NAME 默认值为Expressio