如何使用Spark构建一个web app?
我已经写好了一个版本是 Spark + Play框架 + scala 写的,但是只能设置成standalone 模式才能用(local),发挥不了Spark 分布式的优势。
目前我配置好了一个spark集群,是四台机器,理论上可以加速不少。但是我在网上查了好多 play 和 spark 集群集成的解决方案,貌似都讲的不太清楚。
所以我想知道目前业内基于Spark 的应用是如何构建的,开发框架如何向spark 发送计算请求呢?(我还没工作。。。)
Git 上目前有几个开源的, Spark Server 和 Spark Job Server, 这两个怎么样呢? 适合我的开发吗?谢谢。
相关推荐
first_spark_app:使用Java Spark Web Framework的简单Hello World程序
HELLO WORLD SPARK APP 对于这个项目,我正在使用 Maven构建工具 Visual Studio程式码 使用Spark Framework(sparkjava.com)创建Hello World程序的说明。 创建一个名为“ first_spark_app”的文件夹 从终端导航到“ first_spark_app”目录。 在first_spark_app目录中: 创建一个名为“ my_app”的新目录,然后从终端导航到该目录。 在my_app目录中,创建一个pom.xml文件。 转到上的Java Spark文档,并将其pom.xml文件的示例复制到您自己的示例中。 编辑groupid说“ my_app”,groupid说“ com.leehaney”(添加您自己的名字而不是我的名字)。 您的artifactid是项目的根文件夹。 您的根文件夹包含pom.xm
sparkwebapp:一个使用apache spark的非常简单的spring web应用程序
一个使用apache spark的非常简单的spring web应用程序 目标是采用并使其从一个简单的 spring servlet 运行。 主要问题来自 spark 和 hadoop 依赖项之间的冲突,也可能是 spring 依赖项之间的冲突。 在之前的独立应用,依赖只用于编译,但在运行时使用另一个全局的 jar: $SPARK_HOME/lib/spark-assembly-1.1.1-hadoop2.4.0.jar提供的$SPARK_HOME/lib/spark-assembly-1.1.1-hadoop2.4.0.jar火花安装。 这里使用的解决方案是用这个 spark-assembly jar 替换 war 中包含的 maven 依赖项。 有关更多详细信息,请参阅此。 作者
flex4 Spark Intranet Sample App
NULL 博文链接:https://jickcai.iteye.com/blog/612311
手机app流量统计实战项目
关于手机App流量
Flight_delay_prediction_web_app:一个大数据网络应用程序,可通过Python,Flask,Apache Spark,Kafka,MongoDB,ElasticSearch,d3.js,scikit-learn,MLlib和Apache Airflow预测美国航空公司的延误
Flight_delay_prediction_web_app 大数据Web应用程序的代码,可使用Python,Flask,Apache Spark,Kafka,MongoDB,ElasticSearch,d3.js,scikit-learn,MLlib和Apache Airflow预测美国航空公司的延误。 对于这个项目,我遵循了《敏捷数据科学2.0》(Russell Jurney的书)一书,学习了如何从前端到后端构建和实现完整的数据科学产品。 在该项目中,我还将检查所有代码,识别并修复一些错误,以使应用程序的某些部分按预期工作。 安装 流浪汉/ Virtualbox安装 使用Vagrant和Virtualbox,安装过程需要几分钟。 注意:Vagrant / Virtualbox方法需要9GB的可用RAM,这意味着要关闭16GB Macbook Pro上的大多数程序。 如果您没有关闭


