关于spark SQL的连接问题.

z418593 2015-03-23 04:09:58

请问各位大神,请问我能用PHP来访问sparksql么?
目的是这样的:现在已经在使用hive基于hadoop,主要是用php连接hive thrift依赖包,这样就能在网页上操作hive中的数据.
然后随着数据越来越多,hive感觉速度不够了.又看到spark能很好的兼容hive.所以想用PHP连接到sparksql来操作hive中的数据,或者是hdfs上的数据.

因为看到spark1.1版本加入了ThriftServer,但是有以下问题:
1,是否可以用PHP连接sparksql?
2,如果可以连接,要如何具体操作?
3,需要什么依赖?
请各位大神帮忙解答~

...全文

271 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

shengle1122 2015-08-07

打赏
举报

回复

等待大神解答！

baogui 2015-08-07

打赏
举报

回复

可以把对sparksql的调用封装成REST服务，然后通过PHP调用。

惊鸿仙子君 2015-03-24

打赏
举报

回复

静等大牛解答学习

2. Spark SQL：允许用户执行SQL查询，同时支持各种数据源，是处理结构化和半结构化数据的重要组件。 3. Spark Streaming：对实时数据流进行计算处理，提供了与核心Spark API类似的高级API。 4. MLlib：提供了一系列...

注意：目前我是在大数据平台中运行的sql，set spark.sql.hive.convertMetastoreOrc=false和业务sql在一个会话中执行，所以参数只会在当前会话中生效。这个参数默认是true，spark操作orc表数据的时候，默认使用的是...

Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.SparkSession$.org$apache$spark...

原图 Exception in thread "main" java.lang.IllegalArgumentException: Error while ... at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981) at org.apac

Spark连接MongoDB报错： Caused by: java.lang.NoSuchMethodError: org.apache.spark.sql.catalyst.analysis.TypeCoercion$.findTightestCommonTypeOfTwo()Lscala/Function2; at ...

1,271

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章