关于flume抽取oracle的增量数据sink到kafka的数据重复问题

[qq_41198356]

采用flume组件flume-ng-sql-source-1.5.2.jar连接上Oracle数据库后，通过配置flume抽取数据sink到kafka，kafka测试过没有问题了，但是运行flume的时候，kafka消费者中的数据就几万几万的跳，明明我的数据库里只有10条数据，全是重复数据，这种情况是flume的配置出问题了吗？

[飞向海洋的猪]

为什么不用sqoop直接同步数据呢，我是第一次见到使用flume同步数据库中的数据，flume不是一般用来采集日志数据的吗？

[qq_41162136]

这个问题你解决了吗兄弟

[qq_41198356]

问题解决啦，加了个时间增量，但是现在不用这个，在研究kettle

[LinkSe7en]

你没有配置增量，当然每次都是全表采集辣 参考这个https://xhyangdali.github.io/2019/05/30/Flume%E5%A2%9E%E9%87%8F%E9%87%87%E9%9B%86Mysql%E6%95%B0%E6%8D%AE/