spark调试好麻烦

[球球之家/carver]

我在其他机子上部署了hdfs,hbase,spark，请问我怎么在本地调试java spark来操作远程的hbase，我看网上要么是local本地调试要么是写好打包到远程进行调试，有其他方法吗，就像操作远程数据库一样？求大神解答

[上海菁数信息——实时数字智能]

1. HBase是一个数据库(分布式), 有自己的JDBC, 你可以根据HBase的JDBC开发自己应用, 只要能连接上, 本地远程都可以 2. Spark集群部署好了, 你写好spark作业, 提交给spark集群, spark cluster计算完成后, 你可以参看结果 3. Spark相关的rest server是livy, 然而并不是很好用有一定的版本和环境要求, 很多开发者会选择避开这个坑, 所以你会看到网上的大部分博客 4. 推荐Linux环境下开发, 少爬很多坑, win不适合大数据相关的开发

[小风0092]

可是尝试使用Phoenix来操作HBase 支持JDBC，支持Spark，支持Spark SQL，均可以本地调试 甚至可以挂载Spring 我们现在HBase生产系统都是基于Apache Phoenix操作的

[tchqiq]

https://sparktutorials.github.io/2015/07/30/spark-testing-unit.html http://mkuthan.github.io/blog/2015/03/01/spark-unit-testing/