spark集群启动之后,spark-submit提交任务,主类找不到 [问题点数:100分,结帖人elan3906]

一键查看最优答案

确认一键查看最优答案?
本功能为VIP专享,开通VIP获取答案速率将提升10倍哦!
Bbs1
本版专家分:0
结帖率 100%
Bbs1
本版专家分:100
Blank
状元 2017年 总版技术专家分年内排行榜第一
Blank
榜眼 2014年 总版技术专家分年内排行榜第二
Blank
探花 2013年 总版技术专家分年内排行榜第三
Blank
进士 2018年总版新获得的技术专家分排名前十
2012年 总版技术专家分年内排行榜第七
Bbs5
本版专家分:2643
Bbs2
本版专家分:195
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Blank
签到达人 累计签到获取,不积跬步,无以至千里,继续坚持!
Blank
GitHub 绑定GitHub第三方账户获取
spark-submit 指令详解

编写好的Spark程序一般通过Spark-submit指令的方式<em>提交</em>给Spark<em>集群</em>进行具体的<em>任务</em>计算,Spark-submit指令可以指定一些向<em>集群</em>申请资源的参数(也可直接在Spark程序代码中指定,参数生效的优先级最高),在Linux环境下,可通过<em>spark</em>-submit –help 了解<em>spark</em>-submit指令的各种参数说明,截图如下: 案例(Python<em>任务</em><em>提交</em>): <em>spark</em>-s

后台运行spark-submit命令的方法

在使用<em>spark</em>-submit运行工程jar包时常常会出现一下两个问题: 1.在程序中手打的log(如System.out.println(“***testRdd.count=”+testRdd.count()))常常会因被下一个Job的执行日志覆盖掉而无法查看日志; 2.一旦命令窗口被关闭或者电脑因断电等原因异常关闭,程序便终止运行。 其中,第一个问题可以通过将运行日志重定位

Spark-submit 时出现java.lang.ClassNotFoundException

File=>Project Structure=>Modules 将该<em>类</em>所在的包设置为Sources

Scala调用Spark工具包出现错误: 不到或无法加载

使用eclipse编辑器搭建<em>spark</em>框架的时候,可能会遇上“<em>找</em><em>不到</em>或无法加载<em>主</em><em>类</em>”的问题。搜索出现此<em>类</em>情况的错误,不难发现网上很多信息指出这是因为混合了java 和scala,造成了不编译。但是,如果有使用他们的解决方法,还是失效的小伙伴们,那么可以试试我的方法。 注:Scala版本为2.11.8;Java版本为1.8;Spark版本为<em>spark</em>-1.6.2-bin-hadoop2.6;系统是W...

spark-submit运行idea生成的jar包无法

背景 我在网上把基本上能<em>找</em>到的方法都试过了,然后追根溯源到了idea搭建<em>spark</em>环境上面,这种搭建教程千奇百怪,各不相同,最终看到一位大佬的操作<em>之后</em>终于<em>找</em>到了我debug 5小时的bug(如题) 解决方案 搭建可以参考Idea本地运行<em>spark</em>,操作HDFS(<em>spark</em>-without-hadoop版的<em>spark</em>) 关键在于打包jar包时的选择 JAR files 来自库 提取到目标JAR –...

spark-submit 提交任务报错 java.lang.ClassNotFoundException: Demo02

案例:把<em>spark</em>sql的程序<em>提交</em>到<em>spark</em>的单机模式下执行 package demo01 import org.apache.<em>spark</em>.SparkContext import org.apache.<em>spark</em>.sql.SQLContext import org.apache.<em>spark</em>.SparkConf object Demo02 {     def main(args: Array...

spark-submit 任务提交过程分析

文章目录一、<em>spark</em>-submit脚本分析二、Main<em>类</em>的作用三、SparkSubmit<em>类</em><em>提交</em><em>任务</em>的过程如何和ResourceManger建立连接<em>spark</em><em>任务</em>配置的优先级client模式的真正运行方式 一、<em>spark</em>-submit脚本分析 <em>spark</em>-submit的脚本内容很简单: # 如果没设置SPARK_HOME的环境变量,调用find-<em>spark</em>-home文件寻<em>找</em><em>spark</em>-home i...

spark-submit提交spark任务的具体参数配置说明

今天我们<em>主</em>要来说一下<em>spark</em>-submit的时候一些重要的参数的配置,和<em>spark</em><em>提交</em>的两种模式;<em>spark</em><em>提交</em><em>任务</em>常见的两种模式: 1,local[k]:本地使用k个worker线程运行saprk程序.这种模式适合小批量数据在本地调试代码用.(若使用本地的文件,需要在前面加上:file://) 2,<em>spark</em> on yarn模式: (1)yarn-client模式: 以client模式...

Spark学习-2.4.0-源码分析-3-Spark 核心篇-Spark Submit任务提交

文章目录1. 概述2. Spark应用程序执行流程简介3. Spark Submit<em>任务</em><em>提交</em>流程详解3.1 第一步,编写用户脚本并用Spark-Submit<em>提交</em>3.1.1 用户脚本内容3.1.2 命令行日志3.1.3 Spark-Submit脚本分析 1. 概述   本文介绍Spark应用程序<em>提交</em>的第一步: 使用Spark Submit<em>提交</em>应用。本文将从<em>spark</em><em>提交</em>的脚本开始,逐步分析脚本内容...

spark提交报ClassNotFoundException

1: 若object有package时,--class后接的格式应该是packageName.objectName;     若object没有package时,--class后接的格式应该是objectName。   2:--deploy-mode 驱动器进程是在<em>集群</em>上工作节点运行(cluster),还是在<em>集群</em>之外客户端运行(client)(默认:client);尝试加上 --deploy...

eclipse运行spark出现不到的问题

出现问题的原因是<em>spark</em>和Scala版本不符合 我的<em>spark</em>是2.1.1 所以项目右键选自properties改scala compiler 为scala2.11.8

java -jar运行spark程序不到自己写的的错误解决

<em>spark</em>程序异常解决

spark-submit提交任务参数解析

导读:<em>spark</em>和yarn整合后,可以将Application<em>提交</em>到Yarn上运行,和StandAlone<em>提交</em>模式一样,Yarn也有两种<em>提交</em>模式。 具体: 1. yarn-client<em>提交</em><em>任务</em>     配置:在<em>spark</em>目录下的<em>spark</em>-env.sh添加Hadoop_HOME的配置目录即可<em>提交</em>yarn <em>任务</em>,具体步骤如下: export HADOOP_CONF_DIR=$HADOOP_...

使用sparksubmit提交application时始终不到三方jar 提升class not found

<em>spark</em>2.1.0 hadoop 2.6.0(ambari)<em>spark</em>中使用了三方jar并且运行模式为yarn时,执行如下命令:./<em>spark</em>-submit --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test /tm...

spark入门wordCount之scala程序运行时报错:无法 =

Jetbrains IDEA Ultimate 2018.3.1 sbt 1.2.7 scala 2.11.8 在这里卡住快一学期了,终于解决。 1.运行scala版本的wordCount,首先new project,选择sbt,选版本号,等idea帮我们做好默认配置,没啥好讲 2.去maven repository官网查询<em>spark</em>-core和scala版本的对应关系,并添加到buil...

spark-submit使用及说明

为什么80%的码农都做不了架构师?&gt;&gt;&gt; ...

spark-submit几种情况

1.打包 打包后,生成两个文件,一个是只包含代码的,一个是包含所有jar包的。 2.<em>提交</em> 2.1.<em>提交</em>scala文件 <em>spark</em>-submit --executor-memory 5g --driver-memory 3g --master <em>spark</em>://node11:7077 &amp;amp;amp;amp;amp;amp;amp;lt; als.scala 2.2.<em>提交</em>py文件 <em>spark</em>-submit --driver-memory 2...

Spark学习之3:SparkSubmit启动应用程序过程

本文<em>主</em>要讲述在standalone模式下,从bin/<em>spark</em>-submit脚本到SparkSubmit<em>类</em><em>启动</em>应用程序<em>主</em><em>类</em>的过程。 1 调用流程图 2 <em>启动</em>脚本 2.1 bin/<em>spark</em>-submit # For client mode, the driver will be launched in the same JVM that launches

spark-submit提交任务的方式

submit <em>spark</em> jobs

Spark Java程序打包提交不到错误

java写的<em>spark</em>程序,打包时不能带<em>spark</em>-core相关版本的包,打包成JAR以后只能在linux的<em>spark</em><em>集群</em>中运行<em>spark</em>-submit。本地不能运行。提示来源于如下链接https://bbs.csdn.net/topics/392283234...

Jar在spark-shell上运行报错:不到

scala IntelliJ的项目,sbt打好包在<em>spark</em>-shell上运行后报错:<em>主</em><em>类</em><em>找</em><em>不到</em>;使用了两个中文分词包(ansj_seg-2.0.8.jar,nlp-lang-0.3.jar),但是已经加入到 External libraries里去了;打包没问题,运行报错 ![![图片说明](https://img-ask.csdn.net/upload/201601/26/1453780626_723163.jpg)![图片说明](https://img-ask.csdn.net/upload/201601/26/1453780648_659305.jpg) <em>spark</em>-shell <em>提交</em>命令: [gaohui@hadoop-1-2 test]$ <em>spark</em>-submit --master yarn --driver-memory 5G --num-executors 20 --executor-cores 16 --executor-memory 10G --conf <em>spark</em>.serializer=org.apache.<em>spark</em>.serializer.KryoSerializer --class NLP_V6.Nlp_test --jars /home/gaohui/test/NLP_v6_test.jar /home/gaohui/test/NLP_v6_test.jar 报错图片: ![图片说明](https://img-ask.csdn.net/upload/201601/26/1453780776_603750.jpg)

搭建Spark所遇过的坑

一.经验1.Spark Streaming包含三种计算模式:nonstate .stateful .window2.kafka可通过配置文件使用自带的zookeeper<em>集群</em>3.Spark一切操作归根结底是对RDD的操作4.部署Spark<em>任务</em>,不用拷贝整个架包,只需拷贝被修改的文件,然后在目标服务器上编译打包。5.kafka的log.dirs不要设置成/tmp下的目录,貌似tmp目录有文件数和磁盘容量

欢迎使用CSDN-markdown编辑器

<em>spark</em>-submit参数

初识scala(一)---不到或无法加载

好久没用scala了,今天再次使用时发现,写一个helloworld竟然报错: <em>找</em><em>不到</em>或无法加载<em>主</em><em>类</em>,这尼玛,不能忍,是因为刚创建项目时pom文件没有加依赖。 那我们看看究竟加了啥,我加了 &amp;lt;properties&amp;gt;     &amp;lt;scala.version&amp;gt;2.11.8&amp;lt;/scala.version&amp;gt;     &amp;lt;<em>spark</em>.version&amp;gt;2.1.0...

spark-submit配置说明

《Spark 官方文档》Spark配置 <em>spark</em>-1.6.0 原文地址 Spark配置 Spark有以下三种方式修改配置: Spark properties (Spark属性)可以控制绝大多数应用程序参数,而且既可以通过 SparkConf 对象来设置,也可以通过Java系统属性来设置。 Environment variables (环境变量)可以指定一些各个机器相关的设置,如IP地址,其设置方...

Spark spark-submit 提交的几种模式

local 模式 package com.imooc.<em>spark</em>.Test import org.apache.<em>spark</em>.sql.types.{StringType, StructField, StructType} import org.apache.<em>spark</em>.sql.{Row, SaveMode, SparkSession} /** * 测试<em>spark</em>Context 案例 */...

Maven 打包与spark运行

maven打包 在maven项目的根目录下执行下面这条命令进行打包 mvn clean package 生成的jar包在项目的target里面 <em>spark</em>运行 通过<em>spark</em>-submit运行jar包,通过下面的命令进行 <em>spark</em>-submit --master localhost:7077 --executor-memory 512m --total-executor-cores 7...

Spark Submit任务提交流程

1,简介 在上一篇博客中,我们详细介绍了Spark Standalone模式下<em>集群</em>的<em>启动</em>流程。在Spark <em>集群</em><em>启动</em>后,我们要想在<em>集群</em>上运行我们自己编写的程序,该如何做呢?本篇博客就<em>主</em>要介绍Spark Submit<em>提交</em><em>任务</em>的流程。 2,Spark <em>任务</em>的<em>提交</em> 我们可以从<em>spark</em> 的官网看到,<em>spark</em>-submit的<em>提交</em>格式如下: ./bin/<em>spark</em>-submit –class –ma...

spark-submit ClassNotFoundException的问题解决

I wrote a <em>spark</em> program with scala,but when I use “<em>spark</em>-submit” to submit my project, I met the java.lang.ClassNotFoundException. 注意<em>提交</em>的<em>spark</em>-submit的 –class参数必须要完整的代码package包名.scala文件名组合。

不到SparkSession

在pom.xml加以下依赖  &amp;lt;dependency&amp;gt;        &amp;lt;groupId&amp;gt;org.apache.<em>spark</em>&amp;lt;/groupId&amp;gt;        &amp;lt;artifactId&amp;gt;<em>spark</em>-sql_2.11&amp;lt;/artifactId&amp;gt;        &amp;lt;version&amp;gt;2.2.0&amp;lt;/version&amp;gt;      &

-bash : ** : command not found的问题解决(图文详解)

    问题来源   我不小心,配置错了,少了个export和PATH没配对。     source /etc/profile 之前一定要留心,否则出错让你后悔去!            问题导致现象1       问题导致现象2               解决办法                         按e键,进...

Spark资源参数调优参数

Spark资源参数调优 了解完了Spark作业运行的基本原理<em>之后</em>,对资源相关的参数就容易理解了。所谓的Spark资源参数调优,其实<em>主</em>要就是对Spark运行过程中各个使用资源的地方,通过调节各种参数,来优化资源使用的效率,从而提升Spark作业的执行性能。以下参数就是Spark中<em>主</em>要的资源参数,每个参数都对应着作业运行原理中的某个部分,我们同时也给出了一个调优的参考值。 num-exec

spark-submit 命令使用详解

<em>spark</em>-submit 命令使用详解 <em>spark</em>-submit 用户打包 Spark 应用程序并部署到 Spark 支持的<em>集群</em>管理气上,命令语法如下: <em>spark</em>-submit [options] &lt;python file&gt; [app arguments] app arguments 是传递给应用程序的参数,常用的命令行参数如下所示: –master: 设置<em>主</em>节点 URL 的参数...

spark2-submit提交python任务

<em>提交</em>python文件,遇到的难点是python文件缺乏运行所需要的依赖模块。 python3-mpipinstallxx 我使用的是将anaconda打包放在HDFS上。 基础是已经有同事在linux服务器上安装好了anaconda2,很方便。 首先是将文件夹,打包成zip格式: zip -r anaconda2.zip anaconda2。然后上传文件至HDFS服务器。 对于...

使用idea调试Spark时,遇到java.lang.ClassNotFoundException

写了段简单的代码测试下,连接虚拟机上的Spark standalone: object SparkHbase { def main(args: Array[String]) { System.setProperty("<em>spark</em>.executor.memory", "512m") System.setProperty("<em>spark</em>.driver.memory", "512m") val conf = new SparkConf().setAppName("<em>spark</em>-hbase") .setMaster("<em>spark</em>://ubuntu:7077") .setJars(Array("E:\\javawebapps\\SparkRecommerSystem\\out\\artifacts\\<em>spark</em>recommersystem_jar\\<em>spark</em>recommersystem.jar")) // .setMaster("local[5]") val sc = new SparkContext(conf) sc.addJar("E:\\javawebapps\\SparkRecommerSystem\\out\\artifacts\\<em>spark</em>recommersystem_jar\\<em>spark</em>recommersystem.jar") // val data = Array(1, 2, 3, 4, 5, 6) val dataRDD = sc.parallelize(data) dataRDD.foreach(println) sc.stop() } } windows下与虚拟机网络上是互通的,同时我也调用了SparkConf.setJars(),却依旧无法<em>找</em>到我写的这个<em>主</em><em>类</em>编译后的一个<em>类</em>(SparkHbase$$anonfun$main$1)。 尝试打成Jar包后,使用<em>spark</em>-submit<em>提交</em>,也同样报错。

在maven项目中添加了spark-core依赖以后提示错误: 不到或无法加载

我在idea建的maven项目 public class App { public static void main(String args){ System.out.println("asfasd"

spark程序提交集群不到的错误

1.创建工程,编译一个项目 如果出现这种错误,这个错误是由于Junit版本造成的,可以删掉Test,和pom.xml文件中Junit的相关依赖, 即删掉这两个Scala<em>类</em>:和pom.xml文件中的Junit依赖 刷新Maven依赖 2.写pom文件 &amp;lt;?xml version=&quot;1.0&quot; encoding=&quot;UTF-8&quot;?&amp;gt; &amp;lt;project xmlns=&quot;http://...

Maven打包运行Jar 不到或无法加载

解决方案 java 运行命令添加 -jar 参数 package com.fencaibc.java.edu; public class App { public static void main(String[] args) { System.out.println("Hello World!"); } } ...

maven打包spark程序并放到集群上运行(超详细!!!)

PS:此文章的背景要求是已安装好<em>spark</em> standalone模式,maven,和Intellij,scala插件。 一、maven的配置文件如下: &lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="ht...

idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行

maven+scala+idea创建第一个wordcount项目,打包成jar并用命令行在<em>spark</em> on yarn<em>集群</em>上运行。

spark程序打包集群运行方法及使用中的几个问题解决

<em>spark</em>程序打包<em>集群</em>运行

spark-使用maven打包

Spark使用maven进行打包(减少jar包大小):&amp;lt;name&amp;gt;org.kafka.grammar&amp;lt;/name&amp;gt; &amp;lt;packaging&amp;gt;jar&amp;lt;/packaging&amp;gt;<em>spark</em>的依赖包&amp;lt;!-- https://mvnrepository.com/artifact/org.apache.<em>spark</em>/<em>spark</em>-core_2.10 --&amp;gt;...

一个Spark maven项目打包并使用spark-submit运行

项目目录名 countjpgs pom.xml文件(位于项目目录下) countjpgs =&amp;gt; src =&amp;gt; main =&amp;gt; scala =&amp;gt; stubs =&amp;gt; CountJPGs.scala weblogs文件存放在HDFS的/loudacre目录下,是一个包含各种请求的web日志文件。 pom.xml文件内容: &amp;lt;project xmlns=&quot;...

spark2- submit提交任务报错

在安装完成cdh5.13.3<em>之后</em>,写了个<em>spark</em>stream的代码,然后准备用<em>spark</em>2-submit<em>提交</em><em>任务</em>,结果遇到了一系列的错误: 1.<em>spark</em>2-submit<em>提交</em><em>任务</em>的时候直接报错 Exception in thread &quot;main&quot; java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream   ...

SparkSubmit.main()方法提交外部参数,远程提交standalone集群任务

一、官方文档描述 二、引入pom【注意版本问题】  &amp;lt;dependency&amp;gt;            &amp;lt;groupId&amp;gt;org.apache.<em>spark</em>&amp;lt;/groupId&amp;gt;            &amp;lt;artifactId&amp;gt;<em>spark</em>-core_2.11&amp;lt;/artifactId&amp;gt;            &amp;lt;version&amp;gt;2....

spark-submit提交jar包到spark集群

一、首先将写好的程序打包成jar包。在IDEA下使用maven导出jar包,如下: 在pom.xml中添加以下插件 &amp;lt;plugin&amp;gt; &amp;lt;groupId&amp;gt;org.apache.maven.plugins&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;maven-...

Spark-Submit 常用参数用法

一个Spark<em>任务</em>好不容易开发完成了,终于要上<em>集群</em>跑了,就差万里长征的最后一步了:通过Spark-Submit命令上<em>集群</em>运行,这时候需要做哪些常规与优化工作呢。 这里贴一个常用的SparkSubmit<em>提交</em>脚本 脚本名称:submitHelperLabel.sh 脚本内容: <em>spark</em>-submit \ --master yarn \ --name helper-label-count \...

Spark-Submit提交参数详解

通用可选参数:  --master        MASTER_URL, 可 以 是 <em>spark</em>://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local --deploy-mode        DEPLOY_MODE, Driver 程序运行的地方,client 或者 cluster,默认是client。 ...

Spark集群中使用spark-submit提交jar任务包实战经验

转载: 蜗龙徒行-Spark学习笔记【四】Spark<em>集群</em>中使用<em>spark</em>-submit<em>提交</em>jar<em>任务</em>包实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行

spark任务scala的jar包无法

记录一次困扰良久的问题 编译<em>之后</em>运行 无论如何也无法<em>找</em>到<em>主</em><em>类</em>入口。 死活认不出来,我这个是maven编译的编译标签方法如下 &lt;build&gt; &lt;plugins&gt; &lt;plugin&gt; &lt;artifactId&gt;maven-assembly-plugin&lt;/artifactId&g...

spark-submit报错

#!/bin/bash set -e /opt/app/<em>spark</em>-2.2.0/bin/<em>spark</em>-submit \ --master yarn \ --deploy-mode client \ --executor-memory 18G \ --num-executors 50 \ --executor-cores 5 \ --driver-mem...

解决spark standalone模式 以cluster模式提交不到jar包问题

原submit<em>提交</em>脚本: #!/bin/bash <em>spark</em>-submit \ --class com.jxre.bigdata.<em>spark</em>s.SumIrradiateCalc \ --master <em>spark</em>://node1.sdp.cn:7077 \ --driver-memory 3G \ --deploy-mode cluster \ --supervise \ -...

spark 程序在提交集群上,出现ClassNoFound的错误,解决办法

在sc后面添加这么一句话,即你把这个项目打成的jar包 val sc = new SparkContext(conf) sc.addJar("/opt/data02/<em>spark</em>App/out/<em>spark</em>App.jar") //这句话 参考地址:http://www.dataguru.cn/thread-397001-1-1.html

spark-submit提交参数设置

https://www.cnblogs.com/gnool/p/5643595.html

spark学习笔记(二)----运行模式、spark-submit

<em>spark</em>运行模式 1、application program组成 Job:包含多个Task 组成的并行计算,跟Spark action对应 Stage:Job 的调度单位,对应于TaskSet Taskset:一组关联的、相互之间没有shuffle 依赖关系的<em>任务</em>组成的<em>任务</em>集 Task:被送到某个executor 上的工作单元 2、运行流程(以standalone为例) 程序<em>提交</em>,<em>spark</em>...

启动spark-shell后出现not found错误

我曾遇到了<em>类</em>似于这样的问题: error:not found:value sqlContext error:not found:value sc 解决方案: 1.查看ifconfig,看ip地址是否和你在/etc/hosts中的ip地址一致,如果不一致,请修改/etc/hosts中的ip地址。 2.查看<em>spark</em>-env.sh中配置的SPARK_MASTER_IP是否和ifconfig中

spark开发遇到报不到,求助高手!!!

最近刚接触scala开发 我用<em>spark</em>创建session val <em>spark</em> = SparkSession.builder().master("local").appName(appName) .c

spark-shell启动报错解决办法

<em>spark</em>-shell<em>启动</em>报错解决办法: scala版本不兼容问题 这是因为加入了项目依赖库到/usr/cwgis/app/<em>spark</em>/jars/lib/中 删除相关的scala开头的jar文件即可<em>启动</em><em>spark</em>-shell [root@node111 ~]# runCmd.sh &amp;amp;quot;rm /usr/cwgis/app/<em>spark</em>/jars/lib/scala*.jar&amp;amp;quot; all ...

Spark集群无法启动,命令都识别不了

在SPAK-HOME/sbin目录下执行start-master.sh 得到如下结果: -bash: start-master.sh: command not found 使用jps命令查看得到如下: 15585 DataNode 15432 NameNode 15945 Jps 15822 SecondaryNameNode 看<em>不到</em>Master节点,Spark<em>集群</em>无法<em>启动</em>。谢谢!

一个spark的ClassNotFound的问题

源代码如下: package org.apache.<em>spark</em>.examples import scala.math.random import org.apache.<em>spark</em>._ /** Comp

关于spark-submit之后,报错NoClassDefFoundError

NoClassDefFoundError:org.apache.hadoop.hdfs.server.namenode.NameNode这个问题,困扰了我五天时间,之前使用Eclispe打包<em>之后</em>,在云服务器上面运行。首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是:将$HB...

如何使用spark-submit提交sparkSQL任务

前言 本文介绍了使用java开发<em>spark</em> sql应用程序<em>提交</em>到yarn上运行的全过程,并介绍解决了一些开发和<em>提交</em>中常见的问题。 准备 首先我们要搭建好<em>spark</em> on yarn的<em>集群</em>环境,我是用cdh安装和cloudera manager进行维护的。 这里用到的组件<em>主</em>要有yarn、hdfs和hive。 对于开发人员来说唯一要准备的就是代码开发环境,使用idea创建一个maven项目,在pom....

spark-submit碰到的坑(持续更新)

我的<em>spark</em>部署模式是standalone-cluster,IP分别为:129,130,131,129为Master, 本文<em>主</em>要是将相关配置的注意事项进行记录,相关配置 文件如下: 1、<em>spark</em>-env.sh 2、<em>spark</em>-default.conf(之前报错,配置过,然后又注销掉了) 之前使用<em>spark</em>-shell、<em>spark</em>-submit碰到的异常有以下: 1、dri...

不到或无法加载 org.apache.spark.launcher.Main

Windows环境下,安装<em>spark</em>2.4.3,<em>spark</em>-shell,<em>spark</em>-submit均没有问题,但是<em>启动</em>start-master时报错,日志为: 错误: <em>找</em><em>不到</em>或无法加载<em>主</em><em>类</em> org.ap

spark submit参数及调优

<em>spark</em> submit参数介绍你可以通过<em>spark</em>-submit --help或者<em>spark</em>-shell --help来查看这些参数。使用格式:./bin/<em>spark</em>-submit \ --class &lt;main-class&gt; \ --master &lt;master-url&gt; \ --deploy-mode &lt;deploy-mode&gt; \ --conf...

spark-submit 错误: ava.lang.ClassNotFoundException: WordCount

今天整了一上午,终于在<em>spark</em>上跑出来了这个程序。 在eclipse上编了个简单Scala程序,code如下 package <em>spark</em>.wordcount import org.apache.<em>spark</em>.SparkContext import org.apache.<em>spark</em>.SparkContext._ import org.apache.<em>spark</em>.SparkConf ob

spark submit 提交集群任务后,spark Web UI界面不显示,但是有4040界面,显示local模式

遇到如下问题,求教大神: <em>集群</em>有三个节点,111为master。剩余两个为slave。每个节点 4核,6.6G。 <em>提交</em>命令如下 nohup bin/<em>spark</em>-submit --master <em>spark</em>://sousou:7077 --executor-memory 1g --total-executor-cores 2 --class AnalyzeInfo /<em>spark</em>/jar/v2_AnalyzeInfo.jar & nohup bin/<em>spark</em>-submit --master <em>spark</em>://sousou111:7077 --executor-memory 1g --total-executor-cores 2 --class SaveInfoMain /<em>spark</em>/jar/saveAnn.jar & 问题如下: 1. <em>spark</em> submit <em>提交</em><em>集群</em><em>任务</em>后,<em>spark</em> Web UI界面不显示SaveInfoMain,但是有4040界面,且查看界面Environment显示local模式。这是为什么啊?这样造成的问题是程序没有办法在界面停止。且这个程序有时候会造成处理数据异常缓慢,偶尔处理三四个小时之前的数据,AnalyzeInfo这个<em>任务</em>就不会产生这个问题。 2. 而且这两个<em>任务</em>出现的共同点是:我设置的触发HDFS上的目录下文件就优雅停止程序,刚运行时还可以,但是这两个程序运行时间长了,比如说一天后我上传到HDFS上文件,这两程序就不能成功停止了。 Environment图片如下: ![图片说明](https://img-ask.csdn.net/upload/201810/23/1540264892_86550.png) ![图片说明](https://img-ask.csdn.net/upload/201810/23/1540264909_714074.png)

如何在代码中执行spark-submit,而不是在命令行中

小弟最近初学<em>spark</em>,每次跑<em>spark</em>的job,都需要在命令行输bin/<em>spark</em>-submit XXXX,十分的繁琐,于是我想有没有一种方法,可以在代码中跑<em>spark</em>-submit,但是又不想是以

spark_submit命令行

本地跑 /usr/hdp/current/<em>spark</em>-client/bin/<em>spark</em>-submit --master local --class WordCount02 Spark_2.3.1.jar hdfs://10.86.40.35:8020/word.txt –executor-memory 1G --total-executor-cores 2 standalone /usr/h...

hadoop使用yarn运行jar 报java.lang.ClassNotFoundException 不到不到的不是

1、写了一个数据分析的程序,用idea打成jar包,依赖jar都打进去了 ![图片说明](https://img-ask.csdn.net/upload/201911/03/1572779664_439750.png) 已经设置了 job.setJarByClass(CountDurationRunner.class); 2、开启hadoop zookeeper 和hbase<em>集群</em> 3、yarn运行jar : $ /opt/module/hadoop-2.7.2/bin/yarn jar ct_analysis.jar runner.CountDurationRunner 报错截图:![图片说明](https://img-ask.csdn.net/upload/201911/03/1572779908_781957.png) CountDurationRunner<em>类</em>代码: ``` package runner; import kv.key.ComDimension; //就是这里第一个就没<em>找</em>到 import kv.value.CountDurationValue; import mapper.CountDurationMapper; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import outputformat.MysqlOutputFormat; import reducer.CountDurationReducer; import java.io.IOException; public class CountDurationRunner implements Tool { private Configuration conf = null; @Override public void setConf(Configuration conf) { this.conf = HBaseConfiguration.create(conf); } @Override public Configuration getConf() { return this.conf; } @Override public int run(String[] args) throws Exception { //得到conf Configuration conf = this.getConf(); //实例化job Job job = Job.getInstance(conf); job.setJarByClass(CountDurationRunner.class); //组装Mapper InputFormat initHbaseInputConfig(job); //组装Reducer outputFormat initHbaseOutputConfig(job); return job.waitForCompletion(true) ? 0 : 1; } private void initHbaseOutputConfig(Job job) { Connection connection = null; Admin admin = null; String tableName = "ns_ct:calllog"; try { connection = ConnectionFactory.createConnection(job.getConfiguration()); admin = connection.getAdmin(); if(!admin.tableExists(TableName.valueOf(tableName))) throw new RuntimeException("没有<em>找</em>到目标表"); Scan scan = new Scan(); //初始化Mapper TableMapReduceUtil.initTableMapperJob( tableName, scan, CountDurationMapper.class, ComDimension.class, Text.class, job, true); }catch (IOException e){ e.printStackTrace(); }finally { try { if(admin!=null) admin.close(); if(connection!=null) connection.close(); } catch (IOException e) { e.printStackTrace(); } } } private void initHbaseInputConfig(Job job) { job.setReducerClass(CountDurationReducer.class); job.setOutputKeyClass(ComDimension.class); job.setOutputValueClass(CountDurationValue.class); job.setOutputFormatClass(MysqlOutputFormat.class); } public static void main(String[] args) { try { int status = ToolRunner.run(new CountDurationRunner(), args); System.exit(status); } catch (Exception e) { e.printStackTrace(); } } } 这问题困扰很久了,有人说classPath不对,不知道如何修改,求助! ```

Spark之——Spark Submit提交应用程序详解

本部分来源,也可以到<em>spark</em>官网查看英文版。 <em>spark</em>-submit 是在<em>spark</em>安装目录中bin目录下的一个shell脚本文件,用于在<em>集群</em>中<em>启动</em>应用程序(如*.py脚本);对于<em>spark</em>支持的<em>集群</em>模式,<em>spark</em>-submit<em>提交</em>应用的时候有统一的接口,不用太多的设置。 使用<em>spark</em>-subm...

Windows Spark On YARN 提交任务到CDH集群

软件版本:IDE:Intellij IDEA 14,Java:1.7,Tomcat:7,CDH:5.8.0; Spark:1.6.0-cdh5.8.0-hadoop2.6.0-cdh5.8.0 ; Hadoop:hadoop2.6.0-cdh5.8.0;部署环境:1. 在Windows10 上<em>启动</em>IDEA ,并<em>启动</em>Tomcat,在Tomcat中使用Spark On YARN的方式调用封装好的Spa

【PySpark学习笔记三】spark-submit命令详解

<em>spark</em>-submit命令利用可重用的模块形式编写脚本,并且以编程方式<em>提交</em>作业到Spark。 <em>spark</em>-submit命令 <em>spark</em>-submit命令提供一个统一的API把应用程序部署到各种Spark支持的<em>集群</em>管理器上,从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数: --master:用于设置<em>主</em>结点URL的参数。 local:用于执行本地机器的代码。Spark运行一个...

11.kafka源码分析

<em>spark</em>基本的<em>提交</em>语句: ./bin/<em>spark</em>-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] 参数的含义: --class: <em>主</em>函数所在的<em>类</em>。 --master: master的url,后面会解释

spark搭建环境涉及的linux命令(简单易用型(勿喷))

从一台服务器负责内容到另一台服务器:scp jdk-6u37-linux-x64.bin <em>spark</em>@10.126.45.56:/home/<em>spark</em>/opt tar压缩和解压文件:压缩 tar -cvf java.tar.gz java/ 解压:tar -xvf java.tar.gz 配置java环境变量: 去各种地方下载 jdk程序包 :jdk...

Spark2.2源码分析:Spark-Submit提交任务

Spark源码阅读顺序 1. Spark2.2源码分析:Spark-Submit<em>提交</em><em>任务</em> 详解客户端通过<em>spark</em>-submit命令<em>提交</em>作业后,都先干了哪些事情。 <em>spark</em><em>集群</em><em>启动</em>后会干的事情大概画图如下: 概述步骤 1.先执行<em>spark</em>-submit脚本,准备参数,选择<em>集群</em>管理器 2.<em>启动</em>driver,注册application,<em>启动</em>executor,划分<em>任务</em>,分发<em>任务</em> 3.返回(...

一个诡异的spark-submit运行问题(已解决)

今天在测试刚刚部署好的<em>spark</em><em>集群</em>的时候,碰到了一个诡异的<em>spark</em>-submit问题。搜了一圈也没发现,结果意外的<em>找</em>到了原因,真是欲哭无泪! 问题:写好了一个计算Pi的程序,编译打包成 ComputePi.jar包,放到<em>spark</em><em>集群</em>的master上,然后用命令 <em>spark</em>-submit --master <em>spark</em>://master1:7077 --class com.ibm.j

Spark的submit命令

在win系统下的Idea编译<em>spark</em>自带的JavaWordCount代码,到apache的官网下载对应的<em>spark</em>包<em>spark</em>-1.5.0-bin-hadoop2.6.tgz,从 <em>spark</em>-1.5.0-bin-hadoop2.6\examples\src\main\java\org\apache\<em>spark</em>\examples<em>找</em>到JavaWordCount源码在Idea上进行编译,编译的时候要导

Spark2.0.2源码分析——SparkSubmit提交任务

序列图: 1.客户端<em>任务</em><em>提交</em>: ./<em>spark</em>-submit --master <em>spark</em>://node1:7077 --deploy-mode cluster --class org.apache.<em>spark</em>.examples.SparkPi ../examples/jars/<em>spark</em>-examples_2.11-2.4.0.jar 100 其中 <em>spark</em> - submit 脚...

Apache Spark技术实战之6 -- spark-submit常见问题及其解决

除本人同意外,严禁一切转载,徽沪一郎。 概要 编写了独立运行的Spark Application<em>之后</em>,需要将其<em>提交</em>到Spark Cluster中运行,一般会采用<em>spark</em>-submit来进行应用的<em>提交</em>,在使用<em>spark</em>-submit的过程中,有哪些事情需要注意的呢? 本文试就此做一个小小的总结。 <em>spark</em>-defaults.conf Spark-defaults.conf的作用范围要搞...

Spark jar包不到解决方法

今天在使用Spark中DataFrame往Mysql中插入RDD,但是一直报出以下的异常次信息: [itelbog@iteblog ~]$ bin/<em>spark</em>-submit --master local[2] --jars lib/mysql-connector-java-5.1.35.jar --class <em>spark</em>.<em>spark</em>ToJDBC ./<em>spark</em>-test_2.10-1

IDEA环境中Scala程序无法运行--不到或无法加载

说明:最近大概两周没有打开过IDEA,大概是IDEA感觉自己失宠了,便开始抽风,双击打开IDEA的时候弹出来输入Active Code的界面,我还很奇怪,输入完破解成功打开工程<em>之后</em>,发现之前工程里的scala程序都是黑体字,无法识别scala语言。 错误:<em>找</em><em>不到</em>或无法加载<em>主</em><em>类</em> cn.study.<em>spark</em>.Top3s 一、错误情况 如下图,运行工程,在IDEA下面Run的调试...

无法加载 org.apache.spark.launcher.Main

请教下:安装<em>spark</em>后,<em>启动</em>失败。log里面记录“无法加载<em>主</em><em>类</em> org.apache.<em>spark</em>.launcher.Main”,请问是何故? 环境信息; Welcome to Scala versi

Scala eclipse 错误 -不到或无法加载

错误: <em>找</em><em>不到</em>或无法加载<em>主</em><em>类</em> quickanswer.chapter8.p1 Scala project won't compile in Eclipse; “Could not find the main class.” 原因,是项目中源代码有错误,eclipse 就不编译其他源代码了,但是 eclipse 左边的树确没有错误的提示,让人以为项目中没有代码方面的错误 但是 eclipse

spark-shell可以运行,spark-submit就报错了。

运行代码,发现如果只是使用<em>spark</em>sql进行数据查询不会报错,但是一旦需要insert,或者collect,show之<em>类</em>的就直接报如下的错误。 package MlBigdata import or

spark-submit命令行设置

1.5.1 OverviewProgramming Guides Quick StartSpark Programming GuideSpark StreamingDataFrames and SQLMLlib (Machine Learning)GraphX (Graph Processing)Bagel (Pregel on Spark)SparkR (R on Spark)

Spark源码解析之任务提交spark-submit)篇

今天<em>主</em>要分析一下Spark源码中<em>提交</em><em>任务</em>脚本的处理逻辑,从<em>spark</em>-submit一步步深入进去看看<em>任务</em><em>提交</em>的整体流程,首先看一下整体的流程概要图: 接下来按照图中结构出发一步步看源码:<em>spark</em>-submit#!/usr/bin/env bash# # Licensed to the Apache Software Foundation (ASF) under one or more # con

spark-submit 和 spark-shell 后面可跟的参数

<em>spark</em>-shell和<em>spark</em>-submit参数

spark-submit提交任务集群

<em>spark</em>-submit<em>提交</em><em>任务</em>到<em>集群</em>

spark-core_02: $SPARK_HOME/bin/spark-submit、spark-class脚本分析

继承上文“<em>spark</em>-core_01: $SPARK_HOME/bin/<em>spark</em>-shell脚本分析”一,$SPARK_HOME/bin/<em>spark</em>-submit#################################################从<em>spark</em>-shell调用<em>之后</em>,传进来--class org.apache.<em>spark</em>.repl.Main --name &quot;Spark ...

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

qq钓鱼,易语言编写的下载

QQ钓鱼程序,了解邮箱接收文件,希望对你们有小小帮助。谢谢各位下载 相关下载链接:[url=//download.csdn.net/download/xieshaoqiang/2690888?utm_source=bbsseo]//download.csdn.net/download/xieshaoqiang/2690888?utm_source=bbsseo[/url]

VISUAL.C.从初学到精通 PDF下载

VISUAL.C.从初学到精通非常适合VC++初学者学习。书本的的扫描版太大了,上不了 相关下载链接:[url=//download.csdn.net/download/lmvoid/3280137?utm_source=bbsseo]//download.csdn.net/download/lmvoid/3280137?utm_source=bbsseo[/url]

JSP数据库 快餐订餐管理系统下载

数据库做的一个项目,关于快餐订购的,用了JSP技术,和SQL Server 相关下载链接:[url=//download.csdn.net/download/baobeilaotou/1739422?utm_source=bbsseo]//download.csdn.net/download/baobeilaotou/1739422?utm_source=bbsseo[/url]

我们是很有底线的