如何编译spark源码的时候把hbase相关包也编译进去

jiangbo1125 2015-10-16 04:18:25
./make-distribution.sh --tgz --name 2.2.0 -Pyarn -Phadoop-2.2 -Pspark-ganglia-lgpl -Phive

用的上面的命令
把yarn、hive、hadoop都可以编译到包中，想问怎么修改pom.xml文件，把hbase也加入其中。

生成的jar包中怎么才能有hbase咧？
...全文
136 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
Spark读写HBase（主要讲解SHC的使用）
本文详细介绍使用Apache Spark SQL通过SHC连接器读写HBase的过程。包括源码编译、Maven配置、代码实现及常见错误排查，适用于Spark与HBase集成场景。
spark sql hbase java_SparkSQL读取HBase数据，通过自定义外部数据源
本文介绍了SparkSQL自定义外部数据源访问HBase表的方法。基于Spark1.4.0，给出了HBase建表、Spark-shell操作及代码示例，还展示了相关源码。同时提到SparkSQL中通过外部数据源建表的语法报错问题，以及源码编译依赖的HBase jar包和集群信息。
（二）windows用maven编译spark源码
本文详细介绍了在Windows环境下使用Maven编译Spark源码的步骤，包括下载和配置pom.xml，以及在CMD和IntelliJ IDEA中进行编译的方法。同时，针对编译过程中可能遇到的常见错误提供了具体的解决方案。
搭建Spark源码阅读环境——Spark源码编译及本地调试
本文聚焦于搭建Spark源码阅读环境，详细介绍了Spark源码编译及本地调试的相关内容，为开发者深入了解Spark源码提供了技术支持，有助于在本地环境中更好地进行源码阅读和调试工作。
Spark 2.X 版本读写 Hbase 最佳实践
本文介绍了Spark读写Hbase的最佳实践，包括官方驱动和 Hortonworks 的SHC驱动的优缺点。官方驱动使用便捷但对DataFrame支持不足，而SHC驱动对DataFrame友好但依赖管理复杂。文章提供了选择和使用SHC的注意事项，包括匹配Spark和Hbase版本、获取SHC jar包、解决依赖冲突，并给出了Java使用示例。
Spark

1,275

社区成员

1,171

社区内容

发帖
与我相关
我的任务
社区描述
Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章