信息安全-威胁检测-flink广播流BroadcastState双流合并应用在过滤安全日志

威胁检测-flink双流合并应用在过滤安全日志威胁检测的场景囊括了各种服务器（前端服务、java、go、php、数据库等各种不同种类的服务器），并且日常从服务器中采集的日志种类又达到数十种之多，从这些日志里面我们要做威胁分析存在各种难点，首先第一步就是要从这些日志里面提取出真正有威胁的日志，把那些没有危险的日志过滤掉，那么挑战就来了，如何过滤掉那些我们可信的日志，比如MySQL服务器上的日志里面，我们需要把我们自己log-agent进程对应的日志去掉。先看我们整体的处理流程，该流程重点是在第4步，flink