有没有大佬熟悉storm和kafka的，想帮忙看一下这个可以实现吗？

[WmxL56]

做毕设，一个车联网安全事件管理系统。系统本身不产生安全事件，主要从其他模块接收到安全事件相关信息。

现在想的是安全事件的产生模块把安全事件的信息放到kafka里，然后用storm去取kafka里的数据，
storm里面有个写好的算法根据kafka里的安全事件的数据计算安全事件的等级，再根据等级给原来那个信息发送方一个反馈，比如说报警

然后如果30秒之内来的相同类型，出处的安全事件，就把它当成一个事件，最后安全事件将到安全标准了就算一个流程结束了，把这个安全事件保存到数据库

[WmxL56]

如果觉得 storm 不需要用，或者需要用什么技术，也可以跟我说说。 主要是设计，不一定要真把系统做出来，但是一定要设计的可行

[LinkSe7en]

引用 4 楼 WmxL56 的回复:

[quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗[/quote] 原因有2： 1、最基础的共识：我们写的代码远不如mysql、redis等持久化数据库稳定，因此一些重要的中间状态不宜直接保存在程序内存中，而是委托给稳定的持久化服务，redis就是其中比较快的。这样哪怕程序挂掉重启，还能尽量从挂掉之前继续执行。 2、分布式环境下，中间数据共享，redis当之无愧。因为flink、spark的处理是随机分布在各个服务器上的。

[WmxL56]

引用 5 楼 LinkSe7en 的回复:

[quote=引用 4 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗[/quote] 原因有2： 1、最基础的共识：我们写的代码远不如mysql、redis等持久化数据库稳定，因此一些重要的中间状态不宜直接保存在程序内存中，而是委托给稳定的持久化服务，redis就是其中比较快的。这样哪怕程序挂掉重启，还能尽量从挂掉之前继续执行。 2、分布式环境下，中间数据共享，redis当之无愧。因为flink、spark的处理是随机分布在各个服务器上的。[/quote]那只用mysql可以吗？我本来就打算写到mysql里的，因为最后还有做一个简单的展示页面，mysql我比较熟悉

[LinkSe7en]

storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

[WmxL56]

引用 3 楼 LinkSe7en 的回复:

storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗

[WmxL56]

research了一下好想flink 做这个更好一点，有没有大佬啊 出来交流交流

[LinkSe7en]

引用 6 楼 WmxL56 的回复:

[quote=引用 5 楼 LinkSe7en 的回复:] [quote=引用 4 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗[/quote] 原因有2： 1、最基础的共识：我们写的代码远不如mysql、redis等持久化数据库稳定，因此一些重要的中间状态不宜直接保存在程序内存中，而是委托给稳定的持久化服务，redis就是其中比较快的。这样哪怕程序挂掉重启，还能尽量从挂掉之前继续执行。 2、分布式环境下，中间数据共享，redis当之无愧。因为flink、spark的处理是随机分布在各个服务器上的。[/quote]那只用mysql可以吗？我本来就打算写到mysql里的，因为最后还有做一个简单的展示页面，mysql我比较熟悉[/quote] 可以，但是redis更适合实际业务生产中的高并发场景。redis使用本身非常简单，也是工作中必用的。

[WmxL56]

引用 5 楼 LinkSe7en 的回复:

[quote=引用 4 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗[/quote] 原因有2： 1、最基础的共识：我们写的代码远不如mysql、redis等持久化数据库稳定，因此一些重要的中间状态不宜直接保存在程序内存中，而是委托给稳定的持久化服务，redis就是其中比较快的。这样哪怕程序挂掉重启，还能尽量从挂掉之前继续执行。 2、分布式环境下，中间数据共享，redis当之无愧。因为flink、spark的处理是随机分布在各个服务器上的。[/quote]或者mysql+redis?

[大数据之眸]

可以用flink来实现 除了社区没有spark好，感觉各方面都优于spark

[LinkSe7en]

引用 10 楼 WmxL56 的回复:

[quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

我现在很菜鸟，不知道实现我说的这个，要安装哪些东西，zookeeper要安装吗？ hadoop要安装吗？ 我都不知道 还有flink官网上装普通的flink版本还是hadoop和flink合体的那个版本？是不是装合体的就自带hadoop了？[/quote] 建议直接使用CDH等等一键部署的工具，不要手动部署Hadoop，不然你会怀疑人生的。多用搜索引擎排查问题。部署Hadoop过程有很多坑

[WmxL56]

引用 9 楼 LinkSe7en 的回复:

[quote=引用 8 楼 WmxL56 的回复:] [quote=引用 5 楼 LinkSe7en 的回复:] [quote=引用 4 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗[/quote] 原因有2： 1、最基础的共识：我们写的代码远不如mysql、redis等持久化数据库稳定，因此一些重要的中间状态不宜直接保存在程序内存中，而是委托给稳定的持久化服务，redis就是其中比较快的。这样哪怕程序挂掉重启，还能尽量从挂掉之前继续执行。 2、分布式环境下，中间数据共享，redis当之无愧。因为flink、spark的处理是随机分布在各个服务器上的。[/quote]或者mysql+redis?[/quote] 在什么场合使用什么选型，完全取决于你对场景和选型的理解和认知。最终能高效实现并且易维护就好，没有标准。[/quote]

引用 13 楼 LinkSe7en 的回复:

[quote=引用 10 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

我现在很菜鸟，不知道实现我说的这个，要安装哪些东西，zookeeper要安装吗？ hadoop要安装吗？ 我都不知道 还有flink官网上装普通的flink版本还是hadoop和flink合体的那个版本？是不是装合体的就自带hadoop了？[/quote] 建议直接使用CDH等等一键部署的工具，不要手动部署Hadoop，不然你会怀疑人生的。多用搜索引擎排查问题。部署Hadoop过程有很多坑[/quote]大佬，能不能加一下你的微信， 我感觉我太菜了一个人搞真的来不及了，好多需要问的，好怕毕不了业。今年因为疫情的原因，我们不能提前返校。我一开始耽误了时间，而且不能回学校很多东西也不方便在家里一个人做，也没办法请教学校的老师和同学

[LinkSe7en]

引用 8 楼 WmxL56 的回复:

[quote=引用 5 楼 LinkSe7en 的回复:] [quote=引用 4 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

这样啊，为什么要用redis呢？ kafka+flink还不能解决吗[/quote] 原因有2： 1、最基础的共识：我们写的代码远不如mysql、redis等持久化数据库稳定，因此一些重要的中间状态不宜直接保存在程序内存中，而是委托给稳定的持久化服务，redis就是其中比较快的。这样哪怕程序挂掉重启，还能尽量从挂掉之前继续执行。 2、分布式环境下，中间数据共享，redis当之无愧。因为flink、spark的处理是随机分布在各个服务器上的。[/quote]或者mysql+redis?[/quote] 在什么场合使用什么选型，完全取决于你对场景和选型的理解和认知。最终能高效实现并且易维护就好，没有标准。

[WmxL56]

引用 3 楼 LinkSe7en 的回复:

storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

我现在很菜鸟，不知道实现我说的这个，要安装哪些东西，zookeeper要安装吗？ hadoop要安装吗？ 我都不知道 还有flink官网上装普通的flink版本还是hadoop和flink合体的那个版本？是不是装合体的就自带hadoop了？

[WmxL56]

引用 13 楼 LinkSe7en 的回复:

[quote=引用 10 楼 WmxL56 的回复:] [quote=引用 3 楼 LinkSe7en 的回复:] storm是个已经残废的项目，已经很久没有维护了。 业内通用作法是flink或spark，配合redis。

我现在很菜鸟，不知道实现我说的这个，要安装哪些东西，zookeeper要安装吗？ hadoop要安装吗？ 我都不知道 还有flink官网上装普通的flink版本还是hadoop和flink合体的那个版本？是不是装合体的就自带hadoop了？[/quote] 建议直接使用CDH等等一键部署的工具，不要手动部署Hadoop，不然你会怀疑人生的。多用搜索引擎排查问题。部署Hadoop过程有很多坑[/quote]请问一下flink-1.9.0-src.tgz flink-1.9.0-bin-scala_2.12.tgz 这两个有什么区别啊？ 我要写简单的demo，需要下哪一个？

[霜缪溪]

先问个基本问题，你所说的那个已经实现了的算法是依赖了 storm API 实现的么？如果是，那么 storm + Kafka 肯定是可以实现的，但是你必然还是需要接 MySQL 的或者其他持久化存储。 但是这个架构比较复杂，而且依赖也比较多，所以你可能需要花更多的时间。 如果重新实现算法的代价不大，我建议直接 Kafka + MySQL。由于考虑到你是做毕设，如果对性能要求不高，甚至连 Redis 也不需要。

[宋浩奎]

[WmxL56]

引用 16 楼 霜缪溪 的回复:

先问个基本问题，你所说的那个已经实现了的算法是依赖了 storm API 实现的么？如果是，那么 storm + Kafka 肯定是可以实现的，但是你必然还是需要接 MySQL 的或者其他持久化存储。 但是这个架构比较复杂，而且依赖也比较多，所以你可能需要花更多的时间。 如果重新实现算法的代价不大，我建议直接 Kafka + MySQL。由于考虑到你是做毕设，如果对性能要求不高，甚至连 Redis 也不需要。

那个算法不用考虑是一个非常简单的小算法，就根据车辆速度啊时间啊 简单分个级，是个意思。 唉我现在的问题是，我太蠢了，经验不足， 昨天一天都在装kafka集群，都没装好，zookeeper一直出问题。我可以不装zookeeper，只装kafka吗？ 另外kafka，可以不要集群，纯单机吗？ 最好全都windows上就能搞定就好了。。。。。我现在对linux 太害怕了。。。。部署的我头都要炸了

[WmxL56]

引用 16 楼 霜缪溪 的回复:

先问个基本问题，你所说的那个已经实现了的算法是依赖了 storm API 实现的么？如果是，那么 storm + Kafka 肯定是可以实现的，但是你必然还是需要接 MySQL 的或者其他持久化存储。 但是这个架构比较复杂，而且依赖也比较多，所以你可能需要花更多的时间。 如果重新实现算法的代价不大，我建议直接 Kafka + MySQL。由于考虑到你是做毕设，如果对性能要求不高，甚至连 Redis 也不需要。

大佬如果可以的话，纯单机的flink+kafka+mysql的实现就好…… 我现在还搞不懂，部署在linux，写代码在windows上怎么弄。IDEA建个工程跑flink的官方demo，我都研究了一天没研究出来。IDEA用maven加了flink的依赖，还是找不到那些flink的包，崩溃了……

[我为歌狂Cc]

他只是做个毕设，你们一大堆的跟他说高并发。毕设就是完成就可以了，除非有要求说数据量巨大！！我觉得没问题，项目可行