双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒，抽取你的专属好礼

— 惊喜奖品抢先看 —

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

eclipse 本地local运行Spark程序报错

2024-06-23 20:28:39 793 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

x_brian 墨衍会员 · AI 创作全网分发关注 + 加入社区

Spark环境配置四层契约：JVM/Python/Hadoop/本地层协同指南 Apache Spark并非独立可执行程序，而是运行在JVM之上的分布式计算框架，其稳定运行依赖JVM版本、Scala/Python运行时、Hadoop兼容层与本地存储网络四层技术契约的严格对齐。理解Spark环境的本质，是掌握字节码兼容性、py4j进程通信机制、hadoop-client抽象接口及临时目录权限控制等核心原理的前提；它直接决定类加载失败、序列化异常、文件系统不可用等高频故障能否被精准归因。该技术价值在于将模糊的‘配环境’转化为可验证、可复现、可CI自动化的工程实践，广泛应用于本地开发调试、算阅读详情

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

object HelloWorld {
def main(args: Array[String]): Unit = {

val conf = new SparkConf().setMaster("local").setAppName("word count")
val sc = new SparkContext(conf)
}

报错：

ERROR MetricsConfig:91 - Error loading configuration file metrics.properties
java.lang.NullPointerException
   at org.apache.spark.metrics.MetricsConfig.loadPropertiesFromFile(MetricsConfig.scala:133)
   at org.apache.spark.metrics.MetricsConfig.initialize(MetricsConfig.scala:55)
   at org.apache.spark.metrics.MetricsSystem.<init>(MetricsSystem.scala:95)
   at org.apache.spark.metrics.MetricsSystem$.createMetricsSystem(MetricsSystem.scala:233)
   at org.apache.spark.SparkEnv$.create(SparkEnv.scala:357)
   at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:175)
   at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:257)
   at org.apache.spark.SparkContext.<init>(SparkContext.scala:424)
   at HelloWorld$.main(HelloWorld.scala:9)
   at HelloWorld.main(HelloWorld.scala)
INFO SparkEnv:54 - Registering OutputCommitCoordinator
INFO log:192 - Logging initialized @1049ms
ERROR SparkContext:91 - Error initializing SparkContext.
java.lang.NullPointerException
   at org.apache.spark.ui.JettyUtils$.createStaticHandler(JettyUtils.scala:193)
   at org.apache.spark.ui.WebUI.addStaticHandler(WebUI.scala:121)
   at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:68)
   at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:80)
   at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:175)
   at org.apache.spark.SparkContext.<init>(SparkContext.scala:444)
   at HelloWorld$.main(HelloWorld.scala:9)

...全文

Spark本地开发环境搭建：隔离、验证与可扩展的三步闭环法 Apache Spark 是一个分布式计算引擎，其本地开发环境并非简单的软件安装任务，而是一个涉及JDK版本兼容性、Hadoop二进制绑定、Python-JVM通信协议（Py4J）、类路径隔离与配置驱动扩展的系统性工程。理解 Spark 运行时原理——如 Catalyst 优化器触发条件、local[*] 模式下的 Driver 网络绑定机制、以及 spark-sql 模块的依赖树完整性——是规避 ClassNotFoundException、NoSuchMethodError 和 Py4J 通信失败的关键阅读详情

x_brian

Spark 1,274 成员 1,171 内容

+ 关注 + 加入社区

切换为时间正序

清风明月9987321 2024-06-27

打赏
举报

这个错误通常与Spark找不到metrics.properties文件有关，该文件是用于配置Spark度量系统的。

在一个典型的Spark安装中，metrics.properties文件应该位于conf目录中。如果你在本地运行Spark应用程序并没有明确配置这个文件，Spark可能会因为找不到这个文件而抛出NullPointerException。

解决方法
确保存在metrics.properties文件：

确认你的Spark安装目录下的conf目录中存在metrics.properties文件。如果没有，可以从metrics.properties.template文件复制一份并重命名为metrics.properties。
正确配置Spark环境：

确保你的Spark环境变量和路径正确配置。你可以通过设置SPARK_CONF_DIR环境变量来指定Spark配置目录的路径。
禁用Metrics系统：

如果你不需要使用Spark的Metrics系统，可以禁用它。将以下配置添加到你的Spark应用程序的配置中：


val conf = new SparkConf()
  .setMaster("local")
  .setAppName("word count")
  .set("spark.metrics.conf", "")
val sc = new SparkContext(conf)

这是一个禁用Metrics系统的临时解决方案。如果你确实需要使用Metrics系统，那么还是需要确保metrics.properties文件正确配置。

手动指定metrics.properties文件：
你可以在代码中手动指定metrics.properties文件的位置。确保文件路径正确并且文件可读：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object HelloWorld {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setMaster("local")
      .setAppName("word count")
      .set("spark.metrics.conf", "path/to/metrics.properties")
    val sc = new SparkContext(conf)
    
    // 其他代码...
    
    sc.stop()
  }
}

示例项目结构
假设你的项目结构如下：

project-root/
|-- conf/
|   |-- metrics.properties
|-- src/
|   |-- main/
|       |-- scala/
|           |-- HelloWorld.scala
|-- build.sbt

在这种情况下，你可以将metrics.properties文件放在conf目录中，并在代码中引用它。

总结
确保metrics.properties文件存在并配置正确。
如果不需要Metrics系统，可以暂时禁用它。
手动指定metrics.properties文件的位置，确保路径正确。
通过这些方法，你应该能够解决由于找不到metrics.properties文件而导致的NullPointerException问题。

weixin_41554134 2024-06-25

打赏
举报

这种编程报错问题就没有是AI解决不了的，找个模型分分钟

崔灸舞 2024-06-25

打赏
举报

检查Spark版本：确保你使用的Spark版本与你的Scala版本兼容。不兼容的版本可能会导致此类问题。

清理环境：如果你之前运行过Spark任务，并且可能留下了某些状态或文件，尝试清理这些状态或文件，然后重新运行你的程序。

检查依赖和类路径：确保你的项目中包含了所有必要的Spark和Scala库，并且没有版本冲突。

使用本地模式：由于你已经在SparkConf中设置了local模式，这通常意味着你正在本地运行Spark。确保没有其他Spark实例正在运行，这可能会干扰你的程序。

查看Spark日志：更详细的日志可能会提供更多关于错误的线索。你可以尝试增加日志级别来获取更多信息。

更新或修复Spark：如果你怀疑这是Spark的一个bug，尝试更新到最新的稳定版本，或者查找并应用任何相关的修复。

搜索错误消息：在网上搜索错误消息可能会找到其他用户遇到相同问题的案例，并找到解决方案。

✦双11狂欢大促✦

eclipse 本地local运行Spark程序报错

相关推荐

双11狂欢大促