在什么情况下记录会被多次处理?

johnleewokao 2014-10-22 09:50:24
我建立了一个简单的动态kinesis应用程序,准备将日志上传到s3上。我过去使用的的是Kinesis Connector Library,并且用s3作为渠道来进行重复使用,s3并没有提供较大的修订的作用。我的producer application将log message 投入到流里面,而且我的kinesis app中的缓冲区中的储存量一旦达到较大的数量值,或者说长时间处于高负荷的状态,他会把files转储到s3中并且用KCL作为这个进程的checkpoints。
这样看来整体的运作还算顺利,但是根据docs的记载我们发现在其中某些进程可能被进行了不只一次,根据我的判断它是在reshard进程的过程之中发生的。而且在其被dump到s3的过程之中我们发现这个将files转储到s3的过程以及KCL checkpoints过程发生了不只一次。就拿我自己的这个过程为例,谁能给我点建议告诉我我如何才能避免这些问题吗?
...全文
253 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

409

社区成员

发帖
与我相关
我的任务
社区描述
AWS
社区管理员
  • AWS
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧