请问基于spark做web交互式查询，有好办法么？

cocoa2003 2018-06-25 02:00:26

请问基于spark做web交互式查询，有好办法么？
类似于传统查询页面，页面上输入3个查询条件，然后通过spark访问数据库或者其他文件，将结果返回给web页面。

...全文

1070 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

迷途1503 2018-08-06

打赏
举报

回复

将参数放入数据库中作为任务信息，spark监控数据库信息变化，获取条件执行任务

sakua 2018-07-31

打赏
举报

回复

zeppelin

LinkSe7en 2018-07-10

打赏
举报

回复

直接用zipplin吧

kxiaozhuk 2018-07-06

打赏
举报

回复

用akka，可以把spark做成Restful的服务

火花笔记本 Spark Notebook是面向企业环境的开源笔记本，为数据科学家和数据工程师提供了一个基于Web的交互式编辑器，该编辑器可以以协作的方式结合Scala代码，SQL查询，标记和JavaScript，以探索，分析和学习大量内容。数据集。 Spark Notebook允许使用Scala，Apache Spark和大数据生态系统执行可。功能亮点 Apache Spark可以直接使用，可以通过变量sparkContext或sc简单访问。多火花上下文支持 Spark Notebook带来的最有用的功能之一是将运行中的笔记本电脑分开。每个启动的笔记本将使用其自己的SparkSes

阿帕奇·齐柏林文档：邮件列表：持续集成：贡献：问题追踪器：许可证： Zeppelin ，一个基于Web的笔记本，可进行交互式数据分析。您可以使用SQL，Scala等制作漂亮的数据驱动，交互式和协作式文档。核心功能：基于Web的笔记本样式编辑器。内置Apache Spark支持要了解有关齐柏林飞艇的更多信息，请访问我们的网站入门安装二进制包请以从二进制软件包安装Apache Zeppelin。从源代码构建请选中构建Zeppelin。

根据图识，项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。本课程我们只针对以上图示的浅蓝色部分内容（即与机器学习相关的内容），通过用真实的智能客户项目系统作为案例（案例附带源码，可以直接做二次开发），主要根据项目实例穿讲机器学习以及相关知识，包括有：数据提取，数据清洗以及分词，数据特征值提取、机器学习模型计算、数据分类等等，进行详细讲解。本课程所需掌握的技术：java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb，由于每个技术需要掌握的程度不一样，对于我们用到的一些开源技术，课程中将会是简单介绍如何使用，不会着重讲解。课程重点讲解spark ml、spark Streaming，以及如何使用这些技术进行项目的实战，贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解

阿里云 oss java源码星火笔记本最初是从惊人的、几乎完全重构的用于大规模数据集分析的 . 描述该工具的主要目的是使用 Scala、Apache Spark 等进行创建。这是通过基于 Web 的交互式编辑器实现的，该编辑器可以以协作方式组合 Scala 代码、SQL 查询、标记甚至 JavaScript。 Spark 的使用是开箱即用的，它只是由名为sparkContext的隐式变量启用。您还应该检查网站，。讨论加油！邮件列表有两个不同的邮件列表，每个列表都针对特定的讨论： Spark 笔记本开发然后是关于实现、架构、特性以及与修复或增强项目无关的所有线程的邮件列表。电子邮件：。 Spark 笔记本用户这几乎适用于除开发之外的所有其他内容，包括问题、错误、抱怨，或者希望有一些善意:-D。电子邮件：。在野外名称商标网址描述数据小伙子疯狂的数据科学和可扩展计算敏捷实验室唯一获得意大利 Spark 认证的系统集成商云物理数据驱动的洞察力实现更智能的 IT 阿里云 ECS上的Spark运行环境和运行在阿里云ECS上的Spark Cluste

阿里云 oss java源码星火笔记本最初是从惊人的、几乎完全重构的用于大规模数据集分析的 . 描述该工具的主要目的是使用 Scala、Apache Spark 等进行创建。这是通过基于 Web 的交互式编辑器实现的，该编辑器可以以协作方式组合 Scala 代码、SQL 查询、标记甚至 JavaScript。 Spark 的使用是开箱即用的，它只是由名为sparkContext的隐式变量启用。快速入门指南想试用 Spark Notebook？做这些步骤。去。下载其中一个版本。将文件展开到方便的地方。打开终端/命令窗口。切换到扩展发行版的根目录。执行命令bin/spark-notebook (*NIX) 或bin\spark-notebook (Windows)。打开浏览器到 . 有关入门的更多详细信息，请参阅。讨论加油！邮件列表有两个不同的邮件列表，每个列表都针对特定的讨论： Spark 笔记本开发关于实现、架构、特性以及与修复或增强项目无关的所有线程的邮件列表。电子邮件：（转到加入；仔细检查接收电子邮件的选项）。 Spark 笔记本用户这几

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章