Spark集群中使用spark-submit提交jar任务包实战经验

转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用<em>spark</em>-<em>submit</em>提交<em>jar</em>任务<em>包</em>实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行

Spark Maven项目打包后找不到主类

项目配置：IDEA + Maven + <em>spark</em>2.2 + scala 2.11.4 + java8 问题：使用IDEA，Maven创建java和scala项目，写完代码本地运行没有问题，打<em>包</em>后，java程序没有问题，scala程序总是找不到主类 java.lang.ClassNotFoundException: cn.<em>spark</em>.sql.SparkSQLDemo at java...

我想用spark-submit提交个springboot的jar包，指定运行main函数是遇到了问题


idea打jar包与spark-submit提交集群

一、idea打<em>包</em> 1.project Structure中选择Aritifacts 2.选择+号新建一个要打的<em>jar</em><em>包</em> 删除除了 compile output之外的集群中已经存在的<em>jar</em><em>包</em>，除非引入了集群中不存在的<em>jar</em><em>包</em> 3.选择设置主类，再build-&amp;amp;amp;amp;amp;amp;amp;amp;gt;build Aritifacts即可 二、<em>spark</em>-submin提交集群命令 使用yarn管理集群资源： <em>spark</em>-<em>submit</em> -...

基于IDEA使用Spark API开发Spark程序

清明假期折腾了两天，总结了两种方式使用IDE进行<em>spark</em>程序，记录一下：第一种方法比较简单，两种方式都是采用SBT进行编译的。注意：本地不需要安装Scala程序，否则在编译程序时有版本兼容性问题。一、基于Non-SBT方式创建一个Scala IDEA工程我们使用Non-SBT的方式，点击“Next”命名工程，其他按照默认点击“Finish”完成工程的创建修改项目的属性首先修...

使用idea调试Spark时，遇到java.lang.ClassNotFoundException

写了段简单的代码测试下，连接虚拟机上的Spark standalone： object SparkHbase { def main(args: Array[String]) { System.setProperty("<em>spark</em>.executor.memory", "512m") System.setProperty("<em>spark</em>.driver.memory", "512m") val conf = new SparkConf().setAppName("<em>spark</em>-hbase") .setMaster("<em>spark</em>://ubuntu:7077") .setJars(Array("E:\\javawebapps\\SparkRecommerSystem\\out\\artifacts\\<em>spark</em>recommersystem_<em>jar</em>\\<em>spark</em>recommersystem.<em>jar</em>")) // .setMaster("local[5]") val sc = new SparkContext(conf) sc.addJar("E:\\javawebapps\\SparkRecommerSystem\\out\\artifacts\\<em>spark</em>recommersystem_<em>jar</em>\\<em>spark</em>recommersystem.<em>jar</em>") // val data = Array(1, 2, 3, 4, 5, 6) val dataRDD = sc.parallelize(data) dataRDD.foreach(println) sc.stop() } } windows下与虚拟机网络上是互通的，同时我也调用了SparkConf.setJars()，却依旧无法找到我写的这个主类编译后的一个类（SparkHbase$$anonfun$main$1）。 尝试打成Jar<em>包</em>后，使用<em>spark</em>-<em>submit</em>提交，也同样报错。

spark集群启动之后，spark-submit提交任务，主类找不到

如题。我在远程部署了<em>spark</em>集群。启动<em>spark</em>之后，想<em>submit</em>提交上传的<em>jar</em><em>包</em>。报错：java.lang.ClassNotFoundException: cluster。我的主类名是：clu

Spark加载外部配置文件

Spark中addFile加载配置文件 我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法是将这些文件上传到HDFS上，然后计算节点从HDFS上获取这些数据。当然我们也可以使用addFile函数来分发这些文件。注意，如果是<em>spark</em>程序通过yarn集群上加载配置文件，path必须是集群hdfs的绝对<em>路径</em>，如：viewfs://58-cluster//home/hdp_lbg_supin/resultdata/zhaopin/recommend/config/redis.p

spark 与 hadoop的hdfs的连接（亲测有效）

出处：：http://blog.csdn.net/oopsoom/article/details/24257981， 目前Spark的Run on的Hadoop版本大多是hadoop2以上，但是实际上各个公司的生产环境不尽相同，用到2.0以上的公司还是少数。 大多数公司还是停留在1代hadoop上，所以我就拿<em>spark</em>0.91 +  hadoop0.20.2-cdh3u

Spark的Application和依赖的公共jar包单独存放

在Spark做大数据分析的时候，我们需要将依赖的第三方<em>jar</em><em>包</em>或者我们自己写的公共<em>包</em>单独放在不同的地方，这样可以保持有一份公共的<em>jar</em><em>包</em>库，当有新的开发任务或者要部署到其其他服务器的时候，只要把这些<em>jar</em><em>包</em>拷贝过去就行。 比如我在我的服务器上建立两个目录，一个是commonlib，一个是driverlib，我们可以将依赖的第三方<em>jar</em><em>包</em>,比如mysql的驱动<em>jar</em><em>包</em>放在commonlib文

Spark任务提交jar包依赖解决方案

通常我们将<em>spark</em>任务编写后打<em>包</em>成<em>jar</em><em>包</em>，使用<em>spark</em>-<em>submit</em>进行提交，因为<em>spark</em>是分布式任务，如果运行机器上没有对应的依赖<em>jar</em>文件就会报ClassNotFound的错误。 下面有三个解决方法：方法一：<em>spark</em>-<em>submit</em> –<em>jar</em>s根据<em>spark</em>官网，在提交任务的时候<em>指定</em>–<em>jar</em>s，用逗号分开。这样做的缺点是每次都要制定<em>jar</em><em>包</em>，而且多的时候容易乱。或者不用<em>jar</em>s也可使用

[Spark应用依赖jar包的添加解决方案]

Spark应用依赖<em>jar</em><em>包</em>添加无效的解决方案      在Spark应用中，我们发现，在${SPARK_HOME}\lib文件夹中添加<em>jar</em><em>包</em>时并不起作用。那么，要如何使得我们编写的Sparky应用依赖的<em>jar</em>有效呢？有如下四种方案：    1.使用参数--<em>jar</em>s 添加本地的第三方<em>jar</em>文件（运行<em>spark</em>-<em>submit</em>脚本的机器上），可以给定多个<em>jar</em>文件，中间用逗号隔开     例子：   ...

spark-任务提交多个jar包问题（Oozie调度）

<em>spark</em>-<em>submit</em> \ --class com.xxx.bigdata.handler.xxx \ -- 运行的主类 --master yarn \ --deploy-mode client \ --driver-memory 1g \ --executor-memory 2g \ --executor-cores 2 \ --<em>jar</em>s hdfs:///user/admin/xx/bas...

平台搭建---Spark Submit提交应用程序

本部分来源，也可以到<em>spark</em>官网查看英文版。 使用<em>spark</em>-<em>submit</em>时，应用程序的<em>jar</em><em>包</em>以及通过—<em>jar</em>s选项<em>包</em>含的任意<em>jar</em>文件都会被自动传到集群中。<em>spark</em>-<em>submit</em> --class --master --<em>jar</em>s Spark根目录的bin目录下<em>spark</em>-<em>submit</em>脚本用于在集群上启动应用程序，它通过统一接口使用Spark所支持的所有集群管理器，因此无需特殊配置每一个

spark-submit提交最小包方式运行,与第三方依赖分离

通常使用<em>spark</em>-<em>submit</em> 提交任务时，是把第三方依赖与项目代码打成一个很大的<em>jar</em><em>包</em>来运行，比如sbt-assembly。其实这样很不方便，每次改了代码，需要很长的打<em>包</em>时间，上传服务器也慢，还可能出现 Can’t open so many files的问题 常见的打可执行<em>包</em>方式有3种 1.所有第三方依赖和项目自身代码打成一个，且第三方依赖全部解压为class文件，例如sbt-asse...

spark-submit上传jar包时间较长的解决

出现的场景： 在<em>spark</em>-<em>submit</em>提交Spark作业时，发现上传Spark依赖到hdfs时间长达数分钟。 这个日志之后在上传程序依赖的<em>jar</em>，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：https://<em>spark</em>.apache.org/docs/2.1.1/running-on-yarn.html 其中有这么一句话： To ma...

spark依赖外部第三方jar包

一、摘要 由于项目需要搭建<em>spark</em>单独提交<em>jar</em><em>包</em>运行，而<em>spark</em>提交<em>jar</em><em>包</em>执行，需要依赖外部其他第三方<em>jar</em><em>包</em>时候，官方给出的是在<em>spark</em>-<em>submit</em>命令上增加 --<em>jar</em>s 参数去<em>指定</em>外部<em>jar</em><em>包</em>，但是一个项目运行依赖的外部<em>jar</em>及其的多，此种方式肯定是不行的； 网上找的各种方式最终都没有效果，以下是本人所处理的结果； 二、当前运行环境 <em>spark</em>2.4.3 jdk1.8 s...

spark-submit 依赖第三方包

<em>spark</em>-<em>submit</em> 提交程序时如果需要一些其他<em>包</em>，使用--<em>jar</em>s xxxx.<em>jar</em>,xxxx.<em>jar</em>......，使用多个<em>jar</em><em>包</em>时需要注意，每个<em>jar</em><em>包</em>必须从根目录开始写即/xxx/xxx...<em>jar</em>，否则系统会将后面的视为一个<em>jar</em><em>包</em>...

Spark --jars 依赖包的优先级顺序

Spark 依赖<em>包</em>来源 我们知道Spark application运行加载依赖有三个地方： SystemClasspath -- Spark安装时候提供的依赖<em>包</em> Spark-<em>submit</em> --<em>jar</em>s 提交的依赖<em>包</em> Spark-<em>submit</em> --config "<em>spark</em>.{driver/executor}.extraClassPath=someJar"提交的依赖<em>包</em> Spark...

Spark jar包找不到解决方法

今天在使用Spark中DataFrame往Mysql中插入RDD，但是一直报出以下的异常次信息： [itelbog@iteblog ~]$ bin/<em>spark</em>-<em>submit</em> --master local[2] --<em>jar</em>s lib/mysql-connector-java-5.1.35.<em>jar</em> --class <em>spark</em>.<em>spark</em>ToJDBC ./<em>spark</em>-test_2.10-1

优雅解决Spark Application jar包冲突问题

前言 当我们开发的Spark Application变得越来越复杂，依赖的<em>jar</em><em>包</em>越来越多时，难免会碰到<em>jar</em><em>包</em>冲突的问题。 举个例子： 我们的业务代码用到了一个第三方库，好比：guava（虽然好用，但是版本间的兼容性差的一坨翔） Spark本身也依赖了guava，但是和业务代码中依赖的guava版本不同 这种情况下，把我们的Spark Application提交到集群里执行，很有可能因为...

Spark submit deploy_mode cluster 中的第三方JAR包

本文介绍了一个种解决<em>spark</em>在cluster模式下提交作业无法添加第三方JAR<em>包</em>并引起class not found 异常的解决方案

spark加载外部资源方式

首选说明<em>spark</em>加载文件： 1、采用 Source. fromFile (LocalPath)方式加载，可加载本地文件，这里本地文件指的是非集群方式 2、加载hdfs，sc.textfile() 3、采用 sc.textFile(“file:///path to the file/”)，要求本地文件必须存在集群上的所有节点，且<em>路径</em>相同 （集群模式），local模式可以加载。个人测试机

spark submit依赖jar批量添加小技巧

晾干货，不解释s=`ls ./lib/`str<em>jar</em>=`echo $s | sed &quot;s/ /,/g&quot;`

在spark项目中添加自己的jar包

在<em>spark</em>项目中添加自己的<em>jar</em><em>包</em>

SparkSQL：如何找到与Spark版本对应的jar包

方法：进入Spark官网，下载对应版本的Spark，注意相应版本号，以及直接下载预编译的版本，不要下源码<em>包</em> 下载之后，解压，到该文件夹下的<em>jar</em>s目录，对应Spark版本的相应<em>jar</em><em>包</em>均在其中，再导入IDE既可以进行开发了

蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务包实战经验

所遇问题：由于在IDEA下可以方便快捷地运行scala程序，所以先前并没有在终端下使用<em>spark</em>-<em>submit</em>提交打<em>包</em>好的<em>jar</em>任务<em>包</em>的习惯，但是其只能在local下执行，在网上搜了好多帖子都不能启动<em>spark</em>集群，由于实验任务紧急只能暂时作罢IDEA下任务提交，改由终端下使用<em>spark</em>-<em>submit</em>提交打<em>包</em>好的<em>jar</em>任务。

spark 第三方jar包

./<em>spark</em>-<em>submit</em> –<em>jar</em>s $LIBJARS –class test.MyApp –master local myApp.<em>jar</em>在~/.bashrc 加上for i in `ls /path/to/your/third/party/*.<em>jar</em>` do LIBJARS=$i,$LIBJARS done export LIBJARS=$LIBJARShttp://stackoverflo

Spark调优-防止不必要的jar包上传与分发

Spark调优-防止不必要的<em>jar</em><em>包</em>上传与分发 每个Application都会上传一个<em>spark</em>-assembly-x.x.x-SNAPSHOT-hadoopx.x.x-cdhx.x.x.<em>jar</em>的<em>jar</em><em>包</em>，影响HDFS的性能以及占用HDFS的空间 对于用户的<em>jar</em><em>包</em>，有时候体积也非常庞大，我们同样的方式上传hdfs上，然后直接使用。 基于YARN模式验证 bin/<em>spark</em>-submi

使用spark-submit提交jar包到spark standalone集群(续)

继续上篇文章利用Intellij Idea在windows搭建<em>spark</em> 开发环境(含打<em>jar</em><em>包</em>过程）(一) 以及 Sparksql处理json日志[要求<em>spark</em>sql统计json日志条数存入mysql数据库]                          本章将把打好的<em>jar</em>提交到集群运行。[如何打<em>jar</em> <em>包</em>请看上文第一篇] 环境：centos7,windows10,intelli

[Spark]Spark 应用程序部署工具spark-submit

1. 简介Spark的bin目录中的<em>spark</em>-<em>submit</em>脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序（It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to co

spark-submit 依赖解决方案

<em>spark</em>的<em>jar</em><em>包</em>没必要把所有相关的依赖都打进一个<em>jar</em><em>包</em>中，因为这样会把<em>spark</em>、hadoop本身相关的<em>jar</em><em>包</em>也打进去，但是这些依赖在用<em>spark</em>-<em>submit</em>命令运行时，会自动加载部署环境中已有的。/opt/cloudera/parcels/CDH/bin/<em>spark</em>-<em>submit</em> \–class “cn.icarevision.its007.upgrade.EsIndexUpgrade”

使用spark-submit提交到的各个模式

使用<em>spark</em>-<em>submit</em>提交到yarn上遇到的第三方<em>jar</em><em>包</em>的问题 <em>spark</em>-<em>submit</em> on yarn cluster can't use third-party librarie

聊聊spark-submit的几个有用选项

我们使用<em>spark</em>-<em>submit</em>时，必然要处理我们自己的配置文件、普通文件、<em>jar</em><em>包</em>，今天我们不讲他们是怎么走的，我们讲讲他们都去了哪里，这样我们才能更好的定位问题。我们...

大数据学习之路88-将jar包提交到spark集群需要注意的

我们可以将上一节将数据写入MySql的程序用maven将程序打<em>包</em>，然后将<em>jar</em><em>包</em>提交到<em>spark</em>集群。 执行语句如下： 我们可以看到这里<em>指定</em>了两次mysql的连接驱动，这是为什么呢？ 因为Driver端获取数据库中的元数据信息的时候需要连接驱动，executor真正执行的时候也需要和数据库打交道，也需要数据库的连接驱动。...

spark-submit几种情况

1.打<em>包</em> 打<em>包</em>后，生成两个文件，一个是只<em>包</em>含代码的，一个是<em>包</em>含所有<em>jar</em><em>包</em>的。 2.提交 2.1.提交scala文件 <em>spark</em>-<em>submit</em> --executor-memory 5g --driver-memory 3g --master <em>spark</em>://node11:7077 &amp;amp;amp;amp;amp;amp;amp;lt; als.scala 2.2.提交py文件 <em>spark</em>-<em>submit</em> --driver-memory 2...

Apache Spark技术实战之6 -- spark-submit常见问题及其解决

除本人同意外，严禁一切转载，徽沪一郎。 概要 编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用<em>spark</em>-<em>submit</em>来进行应用的提交，在使用<em>spark</em>-<em>submit</em>的过程中，有哪些事情需要注意的呢？ 本文试就此做一个小小的总结。 <em>spark</em>-defaults.conf Spark-defaults.conf的作用范围要搞...

spark-submit使用及说明

为什么80%的码农都做不了架构师？&gt;&gt;&gt; ...

spark-submit运行jar包脚本命令

找到<em>spark</em>-<em>submit</em>文件的目录 目录/<em>spark</em>-<em>submit</em> --master <em>spark</em>://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.<em>jar</em>参数： --master <em>spark</em>集群

使用sparksubmit提交application时始终找不到三方jar 提升class not found

<em>spark</em>2.1.0 hadoop 2.6.0(ambari)<em>spark</em>中使用了三方<em>jar</em>并且运行模式为yarn时，执行如下命令：./<em>spark</em>-<em>submit</em> --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test /tm...

spark-submit --files 动态加载外部资源文件

在做<em>spark</em>时，有些时候需要加载资源文件，需要在driver或者worker端访问。在client模式下可以使用IO流直接读取,但是在cluster模式下却不能直接读取，需要如下代码： val is: InputStream = this.getClass.getResourceAsStream(“./xxx.sql”) val bufferSource = Source.fromInput...

推荐 130 个令你眼前一亮的网站，总有一个用得着

总结了大学生活两年来，发现的 130 余个黑科技网站，总有一个会让你眼前一亮，赶紧收藏！

在中国程序员是青春饭吗？

今年，我也32了 ，为了不给大家误导，咨询了猎头、圈内好友，以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助，记得帮我点赞哦。 目录： 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时，拿着傲人的工资，想着好好干，以为我们的人生是这样的： 等真到了那一天，你会发现，你的人生很可能是这样的： ...

我在支付宝花了1分钟，查到了女朋友的开房记录！

在大数据时代下，不管你做什么都会留下蛛丝马迹，只要学会把各种软件运用到极致，捉奸简直轻而易举。今天就来给大家分享一下，什么叫大数据抓出轨。据史料证明，马爸爸年轻时曾被...

程序员请照顾好自己，周末病魔差点一套带走我。

程序员在一个周末的时间，得了重病，差点当场去世，还好及时挽救回来了。

卸载 x 雷某度！GitHub 标星 1.5w+，从此我只用这款全能高速下载工具！

作者 | Rocky0429 来源 | Python空间 大家好，我是 Rocky0429，一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱，下载的方式也同样千奇百怪，比如 BT 下载，磁力链接，网盘资源等等等等，下个资源可真不容易，不一样的方式要用不同的下载软件，因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼，某度网盘几十 kb 的下载速度让我...

20道你必须要背会的微服务面试题，面试一定会被问到

写在前面： 在学习springcloud之前大家一定要先了解下，常见的面试题有那块，然后我们带着问题去学习这个微服务技术，那么就会更加理解springcloud技术。如果你已经学了springcloud，那么在准备面试的时候，一定要看看看这些面试题。 文章目录1、什么是微服务？2、微服务之间是如何通讯的？3、springcloud 与dubbo有哪些区别？4、请谈谈对SpringBoot 和S...

讲真，这两个IDE插件，可以让你写出质量杠杠的代码

周末躺在床上看《拯救大兵瑞恩》 周末在闲逛的时候，发现了两个优秀的 IDE 插件，据说可以提高代码的质量，我就安装了一下，试了试以后发现，确实很不错，就推荐给大家。 01、Alibaba Java 代码规范插件 《阿里巴巴 Java 开发手册》，相信大家都不会感到陌生，其 IDEA 插件的下载次数据说达到了 80 万次，我今天又贡献了一次。嘿嘿。 该项目的插件地址： https://github....

为什么猝死的都是程序员，基本上不见产品经理猝死呢？

相信大家时不时听到程序员猝死的消息，但是基本上听不到产品经理猝死的消息，这是为什么呢？ 我们先百度搜一下：程序员猝死，出现将近700多万条搜索结果： 搜索一下：产品经理猝死，只有400万条的搜索结果，从搜索结果数量上来看，程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍，而且从下图可以看到，首页里面的五条搜索结果，其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大，并不是错...

毕业5年，我问遍了身边的大佬，总结了他们的学习方法

我问了身边10个大佬，总结了他们的学习方法，原来成功都是有迹可循的。

推荐10个堪称神器的学习网站

每天都会收到很多读者的私信，问我：“二哥，有什么推荐的学习网站吗？最近很浮躁，手头的一些网站都看烦了，想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦，梦到被老板辞退了。虽然说在我们公司，只有我辞退老板的份，没有老板辞退我这一说，但是还是被吓得 4 点多都起来了。（主要是因为我掌握着公司所有的核心源码，哈哈哈） 既然 4 点多起来，就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站，推...

这些软件太强了，Windows必装！尤其程序员！

Windows可谓是大多数人的生产力工具，集娱乐办公于一体，虽然在程序员这个群体中都说苹果是信仰，但是大部分不都是从Windows过来的，而且现在依然有很多的程序员用Windows。 所以，今天我就把我私藏的Windows必装的软件分享给大家，如果有一个你没有用过甚至没有听过，那你就赚了????，这可都是提升你幸福感的高效率生产力工具哦！ 走起！???? NO、1 ScreenToGif 屏幕，摄像头和白板...

阿里面试，面试官没想到一个ArrayList，我都能跟他扯半小时

我是真的没想到，面试官会这样问我ArrayList。

曾经优秀的人，怎么就突然不优秀了。

职场上有很多辛酸事，很多合伙人出局的故事，很多技术骨干被裁员的故事。说来模板都类似，曾经是名校毕业，曾经是优秀员工，曾经被领导表扬，曾经业绩突出，然而突然有一天，因为种种原因，被裁员了，...

大学四年因为知道了这32个网站，我成了别人眼中的大神！

依稀记得，毕业那天，我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”，哎呀，别提当时多开心啦????，嗯，我们导员是所有导员中最帅的一个，真的???? 不过，导员说的是实话，很多人都叫我大神的，为啥，因为我知道这32个网站啊，你说强不强????，这次是绝对的干货，看好啦，走起来！ PS：每个网站都是学计算机混互联网必须知道的，真的牛杯，我就不过多介绍了，大家自行探索，觉得没用的，尽管留言吐槽吧???? 社...

良心推荐，我珍藏的一些Chrome插件

上次搬家的时候，发了一个朋友圈，附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多，于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家，随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件，由于支持 Markdown 直接转电子邮...

看完这篇HTTP，跟面试官扯皮就没问题了

我是一名程序员，我的主要编程语言是 Java，我更是一名 Web 开发人员，所以我必须要了解 HTTP，所以本篇文章就来带你从 HTTP 入门到进阶，看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前，我们的电脑都是单机的，单机系统是孤立的，我还记得 05 年前那会儿家里有个电脑，想打电脑游戏还得两个人在一个电脑上玩儿，及其不方便。我就想为什么家里人不让上网，我的同学 xxx 家里有网，每...

2020 年，大火的 Python 和 JavaScript 是否会被取而代之？

Python 和 JavaScript 是目前最火的两大编程语言，但是2020 年，什么编程语言将会取而代之呢？ 作者 |Richard Kenneth Eng 译者 |明明如月，责编 | 郭芮 出品 | CSDN（ID：CSDNnews） 以下为译文： Python 和 JavaScript 是目前最火的两大编程语言。然而，他们不可能永远屹立不倒。最终，必将像其他编程语言一...

史上最全的IDEA快捷键总结

现在Idea成了主流开发工具，这篇博客对其使用的快捷键做了总结，希望对大家的开发工作有所帮助。

阿里程序员写了一个新手都写不出的低级bug，被骂惨了。

这种新手都不会范的错，居然被一个工作好几年的小伙子写出来，差点被当场开除了。

谁是华为扫地僧？

是的，华为也有扫地僧！2020年2月11-12日，“养在深闺人不知”的华为2012实验室扫地僧们，将在华为开发者大会2020（Cloud）上，和大家见面。到时，你可以和扫地僧们，吃一个洋...

Flutter 会不会被苹果限制其发展?

这个可能性是存在的，而且不止是 flutter、react-native 、weex 、uni-app 、taro 、Hippy等都存在这个风险，虽然有些框架对比起 flutter 其他框架存在时间稍长，但是这不可否认它们一直都存在这个风向。 只要不是平台自己的亲儿子，那么肯定存在被限制发展的风险，所以这件事上是风险和收益之间的博弈，这是一个“后妈和前任之间的太极。” 先说现状 如今各大平台，如：...

Idea 中最常用的10款插件（提高开发效率），一定要学会使用！

学习使用一些插件，可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。

AI 没让人类失业，搞 AI 的人先失业了

最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败，被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下，把消息分享给群里。 阿杰也看了消息，笑了笑。在座几位也都笑了。 王葱葱是个有名的人物，21岁那年以全额奖学金进入 KMU 攻读人工智能博士，累计发表论文 40 余篇，个人技术博客更是成为深度学习领域内风向标。 ...

2020年，冯唐49岁：我给20、30岁IT职场年轻人的建议

点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID：jishulingdaoli) 前天的推文《冯唐：职场人35岁以后，方法论比经验重要》，收到了不少读者的反馈，觉得挺受启发。其实，冯唐写了不少关于职场方面的文章，都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...

最全最强！世界大学计算机专业排名总结！

我正在参与CSDN200进20，希望得到您的支持，扫码续投票5次。感谢您！ （为表示感谢，您投票后私信我，我把我总结的人工智能手推笔记和思维导图发送给您，感谢！） 目录 泰晤士高等教育世界大学排名 QS 世界大学排名 US News 世界大学排名 世界大学学术排名（Academic Ranking of World Universities） 泰晤士高等教育世界大学排名 中国共...

作为一名大学生，如何在B站上快乐的学习？

B站是个宝，谁用谁知道???? 作为一名大学生，你必须掌握的一项能力就是自学能力，很多看起来很牛X的人，你可以了解下，人家私底下一定是花大量的时间自学的，你可能会说，我也想学习啊，可是嘞，该学习啥嘞，不怕告诉你，互联网时代，最不缺的就是学习资源，最宝贵的是啥？ 你可能会说是时间，不，不是时间，而是你的注意力，懂了吧！ 那么，你说学习资源多，我咋不知道，那今天我就告诉你一个你必须知道的学习的地方，人称...

那些年，我们信了课本里的那些鬼话

教材永远都是有错误的，从小学到大学，我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里，有很多是错误文章，或者说是假课文。像《斑羚飞渡》： 随着镰刀头羊的那声吼叫，整个斑羚群迅速分成两拨，老年斑羚为一拨，年轻斑羚为一拨。 就在这时，我看见，从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声，一只半大的斑羚应声走了出来。一老一少走到伤心崖，后退了几步，突...

一个程序在计算机中是如何运行的？超级干货！！！

强烈声明：本文很干，请自备茶水！???? 开门见山，咱不说废话！ 你有没有想过，你写的程序，是如何在计算机中运行的吗？比如我们搞Java的，肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...

【蘑菇街技术部年会】程序员与女神共舞，鼻血再次没止住。（文末内推）

蘑菇街技术部的年会，别开生面，一样全是美女。

Linux必懂知识大总结（补）

关机 1. 数据同步写入磁盘 sync 为了加快对磁盘上文件的读写速度，位于内存中的文件数据不会立即同步到磁盘上，因此关机之前需要先进行 sync 同步操作。 2. shutdown # /sbin/shutdown [-krhc] [时间] [警告讯息] -k ： 不会关机，只是发送警告讯息，通知所有在线的用户 -r ： 将系统的服务停掉后就重新启动 -h ： 将系统的服务停掉后就...

那个在阿里养猪的工程师，5年了……

简介： 在阿里，走过1825天，没有趴下，依旧斗志满满，被称为“五年陈”。他们会被授予一枚戒指，过程就叫做“授戒仪式”。今天，咱们听听阿里的那些“五年陈”们的故事。 下一个五年，猪圈见！ 我就是那个在养猪场里敲代码的工程师，一年多前我和20位工程师去了四川的猪场，出发前总架构师慷慨激昂的说：同学们，中国的养猪产业将因为我们而改变。但到了猪场，发现根本不是那么回事：要个WIFI，没有；...

为什么程序猿都不愿意去外包？

分享外<em>包</em>的组织架构，盈利模式，亲身经历，以及根据一些外<em>包</em>朋友的反馈，写了这篇文章 ，希望对正在找工作的老铁有所帮助

Java校招入职华为，半年后我跑路了

何来 我，一个双非本科弟弟，有幸在 19 届的秋招中得到前东家华为（以下简称 hw）的赏识，当时秋招签订就业协议，说是入了某 java bg，之后一系列组织架构调整原因等等让人无法理解的神操作，最终毕业前夕，被通知调往其他 bg 做嵌入式开发（纯 C 语言）。 由于已至于校招末尾，之前拿到的其他 offer 又无法再收回，一时感到无力回天，只得默默接受。 毕业后，直接入职开始了嵌入式苦旅，由于从未...

世界上有哪些代码量很少，但很牛逼很经典的算法或项目案例？

点击上方蓝字设为星标下面开始今天的学习～今天分享四个代码量很少，但很牛逼很经典的算法或项目案例。1、no code 项目地址：https://github.com/kelseyhight...

Python全栈 Linux基础之3.Linux常用命令

Linux对文件（<em>包</em>括目录）有很多常用命令，可以加快开发效率：ls是列出当前目录下的文件列表，选项有-a、-l、-h，还可以使用通配符；c功能是跳转目录，可以使用相对<em>路径</em>和绝对<em>路径</em>；mkdir命令创建一个新的目录，有-p选项，rm删除文件或目录，有-f、-r选项；cp用于复制文件，有-i、-r选项，tree命令可以将目录结构显示出来（树状显示），有-d选项，mv用来移动文件/目录，有-i选项；cat查看文件内容，more分屏显示文件内容，grep搜索内容；>、>>将执行结果重定向到一个文件；|用于管道输出。

​两年前不知如何编写代码的我，现在是一名人工智能工程师

全文共3526字，预计学习时长11分钟 图源：Unsplash 经常有小伙伴私信给小芯，我没有编程基础，不会写代码，如何进入AI行业呢？还能赶上AI浪潮吗？ 任何时候努力都不算晚。 下面，小芯就给大家讲一个朋友的真实故事，希望能给那些处于迷茫与徘徊中的小伙伴们一丝启发。（下文以第一人称叙述） 图源：Unsplash 正如Elsa所说，职业转换是...

强烈推荐10本程序员必读的书

很遗憾，这个春节注定是刻骨铭心的，新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们，尤其值得我们的尊敬。而我们这些窝在家里的程序员，能不外出就不外出，就是对社会做出的最大的贡献。 有些读者私下问我，窝了几天，有点颓丧，能否推荐几本书在家里看看。我花了一天的时间，挑选了 10 本我最喜欢的书，你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力，还可以对未来充满希望，毕竟苦难终将会...

Python实战：抓肺炎疫情实时数据，画2019-nCoV疫情地图

今天，群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者，国家重点实验室成员，于不惑之年学习python，实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据，也没有画过类似的数据分布图。于是就拿了两个小时，专门研究了一下，遂成此文。

作为一个程序员，内存的这些硬核知识你必须懂！

我们之前讲过CPU，也说了CPU和内存的那点事儿，今天咱就再来说说有关内存，作为一个程序员，你必须要懂的哪那些硬核知识！ 大白话聊一聊，很重要！ 先来大白话的跟大家聊一聊，我们这里说的内存啊，其实就是说的我们电脑里面的内存条，所以嘞，内存就是内存条，数据要放在这上面才能被cpu读取从而做运算，还有硬盘，就是电脑中的C盘啥的，一个程序需要运行的话需要向内存申请一块独立的内存空间，这个程序本身是存放在...

非典逼出了淘宝和京东，新冠病毒能够逼出什么？

loonggg读完需要5分钟速读仅需 2 分钟大家好，我是你们的校长。我知道大家在家里都憋坏了，大家可能相对于封闭在家里“坐月子”，更希望能够早日上班。今天我带着大家换个思路来聊一个问题...

牛逼！一行代码居然能解决这么多曾经困扰我半天的算法题

春节假期这么长，干啥最好？当然是折腾一些算法题了，下面给大家讲几道一行代码就能解决的算法题，当然，我相信这些算法题你都做过，不过就算做过，也是可以看一看滴，毕竟，你当初大概率不是一行代码解决的。 学会了一行代码解决，以后遇到面试官问起的话，就可以装逼了。 一、2 的幂次方 问题描述：判断一个整数 n 是否为 2 的幂次方 对于这道题，常规操作是不断这把这个数除以 2，然后判断是否有余数，直到 ...

用前端5分钟写一个在线m3u8在线播放器

&lt;!DOCTYPE html&gt; &lt;html lang="en"&gt; &lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;meta name="viewport" content="width=device-width, initial-scale=1.0"&gt; &lt;meta http-equiv="X...

Spring框架|JdbcTemplate介绍

文章目录一、JdbcTemplate 概述二、创建对象的源码分析三、JdbcTemplate操作数据库 一、JdbcTemplate 概述 在之前的web学习中，学习了手动封装JDBCtemplate，其好处是通过(sql语句+参数)模板化了编程。而真正的JDBCtemplete类，是Spring框架为我们写好的。 它是 Spring 框架中提供的一个对象，是对原始 Jdbc API 对象的简单...

为什么说程序员做外包没前途？

之前做过不到3个月的外<em>包</em>，2020的第一天就被释放了，2019年还剩1天，我从外<em>包</em>公司离职了。我就谈谈我个人的看法吧。首先我们定义一下什么是有前途 稳定的工作环境 不错的收入 能够在项目中不断提升自己的技能（ps：非技术上的认知也算） 找下家的时候能找到一份工资更高的工作 如果你目前还年轻，但高不成低不就，只有外<em>包</em>offer，那请往下看。 外<em>包</em>公司你应该...

B 站上有哪些很好的学习资源?

哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！ 最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频，最近两年我和周围的朋友们已经把B站当作学习教室了，而且学习成本还免费，真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ﾉ 下面我们就来盘点一下B站上优质的学习资源： 综合类 Oeasy： 综合...

终于！疫情之下，第一批企业没能熬住面临倒闭，员工被遣散，没能等来春暖花开！

先来看一个图： 这个春节，我同所有人一样，不仅密切关注这次新型肺炎，还同时关注行业趋势和企业。在家憋了半个月，我选择给自己看书充电。因为在疫情之后，行业竞争会更加加剧，必须做好未雨绸缪，时刻保持充电。 看了今年的情况，突然想到大佬往年经典语录： 马云：未来无业可就，无工可打，无商可务 李彦宏：人工智能时代，有些专业将被淘汰，还没毕业就失业 马化腾：未来3年将大洗牌，迎21世界以来最大失业潮 王...

昂，我24岁了

24岁的程序员，还在未来迷茫，不知道能不能买得起房子

作为程序员的我，大学四年一直自学，全靠这些实用工具和学习网站！

我本人因为高中沉迷于爱情，导致学业荒废，后来高考，毫无疑问进入了一所普普通通的大学，实在惭愧???? 我又是那么好强，现在学历不行，没办法改变的事情了，所以，进入大学开始，我就下定决心，一定要让自己掌握更多的技能，尤其选择了计算机这个行业，一定要多学习技术。 在进入大学学习不久后，我就认清了一个现实：我这个大学的整体教学质量和学习风气，真的一言难尽，懂的人自然知道怎么回事？ 怎么办？我该如何更好的提升自...

新来个技术总监，禁止我们使用Lombok！

我有个学弟，在一家小型互联网公司做Java后端开发，最近他们公司新来了一个技术总监，这位技术总监对技术细节很看重，一来公司之后就推出了很多"政策"，比如定义了很多开发规范、日志规范、甚至是要求大家统一使用某一款IDE。 但是这些都不是我这个学弟和我吐槽的点，他真正和我吐槽的是，他很不能理解，这位新来的技术总监竟然禁止公司内部所有开发使用Lombok。但是又没给出十分明确的，可以让人信服的理由。 于...

疫情下的招聘季还会是金三银四吗？

想必大家都看过朋友圈流行的一个段子： 前天一觉醒来，假期还有⑤天。昨天一觉醒来，假期还有⑦天。今天一觉醒来，假期还有⑬天。真的不敢再睡了 今天，有个朋友跟我说： 一觉醒来，公司倒闭了。 昨天有些公司已经通知复工了，有些选择在线办工，也些同学也已进入公司码代码了。 能复工的同学应该庆幸，因为你们公司还能撑得下去。 对于大部分的打工族而言，休假比工作爽，反正啥活不干，工资照发。 而对于企...

2万字Java并发编程面试题合集（含答案，建议收藏）

Java 并发编程 1、在 java 中守护线程和本地线程区别？ 2、线程与进程的区别？ 3、什么是多线程中的上下文切换？ 4、死锁与活锁的区别，死锁与饥饿的区别？ 5、Java 中用到的线程调度算法是什么？ 6、什么是线程组，为什么在 Java 中不推荐使用？ 7、为什么使用 Executor 框架？ 8、在 Java 中 Executor 和 Executors 的区别？ 9...

2020年，最适合AI的5种编程语言

来源 |medium编译 | 张涛责编 | Carol出品 | AI科技大本营（ID:rgznai100）AI系统的开发必须有计算机代码，而计算机程序的开发有不同类型的编程语言可以选择...

在三线城市工作爽吗？

我是一名程序员，从正值青春年华的 24 岁回到三线城市洛阳工作，至今已经 6 年有余。一不小心又暴露了自己的实际年龄，但老读者都知道，我驻颜有术，上次去看房子，业务员肯定地说：“小哥肯定比我小，我今年还不到 24。”我只好强颜欢笑：“你说得对。” 从我拥有记忆到现在进入而立之年，我觉得，我做过最明智的选择有下面三个： 1）高中三年，和一位女同学保持着算不上朋友的冷淡关系；大学半年，把这位女同学追到...

这些插件太强了，Chrome 必装！尤其程序员！

推荐 10 款我自己珍藏的 Chrome 浏览器插件

大学四年，这个Java学习路线，让我现在进了阿里

互联网浮沉多年，想给大家点干货，内附资源

技术大佬：我去，你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码，大部分代码都写得很漂亮，严谨的同时注释也很到位，这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时，还是忍不住破口大骂：“我擦，小王，你丫写的 switch 语句也太老土了吧！” 来看看小王写的代码吧，看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天！

互联网公司工作，很难避免不和黑客们打交道，我呆过的两家互联网公司，几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口，有的是寻找线上服务器可能存在的漏洞，大部分都...

单片机控制超声波测距仪毕业设计下载

单片机控制超声波测距一，仅供参考，有时间的话还是在即做一下，答辩时候，更容易通过。。。。。。。。。。。。。。。 相关下载链接：[url=//download.csdn.net/download/yaphade/3280966?utm_source=bbsseo]//download.csdn.net/download/yaphade/3280966?utm_source=bbsseo[/url]

PCB设计技巧百问下载

针对初学者做的解答关于pcb设计方面的资料，初学者比看 相关下载链接：[url=//download.csdn.net/download/qq_24831079/8300539?utm_source=bbsseo]//download.csdn.net/download/qq_24831079/8300539?utm_source=bbsseo[/url]

c程序设计课后答案(谭浩强三版)下载

c程序设计课后答案c程序设计课后答案c程序设计课后答案(谭浩强三版) 相关下载链接：[url=//download.csdn.net/download/mpf814348235/1242798?utm_source=bbsseo]//download.csdn.net/download/mpf814348235/1242798?utm_source=bbsseo[/url]