请问spark submit 怎么指定jar包路径? [问题点数:30分]

Bbs1
本版专家分:0
结帖率 50%
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Blank
签到新秀 累计签到获取,不积跬步,无以至千里,继续坚持!
Spark集群中使用spark-submit提交jar任务实战经验
转载: 蜗龙徒行-Spark学习笔记【四】Spark集群中使用<em>spark</em>-<em>submit</em>提交<em>jar</em>任务<em>包</em>实战经验 - cafuc46wingw的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/cafuc46wingw/article/details/45043941 一、所遇问题        由于在IDEA下可以方便快捷地运行
Spark Maven项目打后找不到主类
项目配置:IDEA + Maven + <em>spark</em>2.2 + scala 2.11.4 + java8 问题:使用IDEA,Maven创建java和scala项目,写完代码本地运行没有问题,打<em>包</em>后,java程序没有问题,scala程序总是找不到主类 java.lang.ClassNotFoundException: cn.<em>spark</em>.sql.SparkSQLDemo at java...
我想用spark-submit提交个springboot的jar指定运行main函数是遇到了问题
![图片说明](https://img-ask.csdn.net/upload/201801/04/1515062875_500028.png)
idea打jarspark-submit提交集群
一、idea打<em>包</em> 1.project Structure中选择Aritifacts 2.选择+号新建一个要打的<em>jar</em><em>包</em> 删除除了 compile output之外的集群中已经存在的<em>jar</em><em>包</em>,除非引入了集群中不存在的<em>jar</em><em>包</em> 3.选择设置主类,再build-&amp;amp;amp;amp;amp;amp;amp;amp;gt;build Aritifacts即可 二、<em>spark</em>-submin提交集群命令 使用yarn管理集群资源: <em>spark</em>-<em>submit</em> -...
基于IDEA使用Spark API开发Spark程序
清明假期折腾了两天,总结了两种方式使用IDE进行<em>spark</em>程序,记录一下:第一种方法比较简单,两种方式都是采用SBT进行编译的。注意:本地不需要安装Scala程序,否则在编译程序时有版本兼容性问题。一、基于Non-SBT方式创建一个Scala IDEA工程我们使用Non-SBT的方式,点击“Next”命名工程,其他按照默认点击“Finish”完成工程的创建修改项目的属性首先修...
使用idea调试Spark时,遇到java.lang.ClassNotFoundException
写了段简单的代码测试下,连接虚拟机上的Spark standalone: object SparkHbase { def main(args: Array[String]) { System.setProperty("<em>spark</em>.executor.memory", "512m") System.setProperty("<em>spark</em>.driver.memory", "512m") val conf = new SparkConf().setAppName("<em>spark</em>-hbase") .setMaster("<em>spark</em>://ubuntu:7077") .setJars(Array("E:\\javawebapps\\SparkRecommerSystem\\out\\artifacts\\<em>spark</em>recommersystem_<em>jar</em>\\<em>spark</em>recommersystem.<em>jar</em>")) // .setMaster("local[5]") val sc = new SparkContext(conf) sc.addJar("E:\\javawebapps\\SparkRecommerSystem\\out\\artifacts\\<em>spark</em>recommersystem_<em>jar</em>\\<em>spark</em>recommersystem.<em>jar</em>") // val data = Array(1, 2, 3, 4, 5, 6) val dataRDD = sc.parallelize(data) dataRDD.foreach(println) sc.stop() } } windows下与虚拟机网络上是互通的,同时我也调用了SparkConf.setJars(),却依旧无法找到我写的这个主类编译后的一个类(SparkHbase$$anonfun$main$1)。 尝试打成Jar<em>包</em>后,使用<em>spark</em>-<em>submit</em>提交,也同样报错。
spark集群启动之后,spark-submit提交任务,主类找不到
如题。我在远程部署了<em>spark</em>集群。启动<em>spark</em>之后,想<em>submit</em>提交上传的<em>jar</em><em>包</em>。报错:java.lang.ClassNotFoundException: cluster。我的主类名是:clu
Spark加载外部配置文件
Spark中addFile加载配置文件 我们在使用Spark的时候有时候需要将一些数据分发到计算节点中。一种方法是将这些文件上传到HDFS上,然后计算节点从HDFS上获取这些数据。当然我们也可以使用addFile函数来分发这些文件。注意,如果是<em>spark</em>程序通过yarn集群上加载配置文件,path必须是集群hdfs的绝对<em>路径</em>,如:viewfs://58-cluster//home/hdp_lbg_supin/resultdata/zhaopin/recommend/config/redis.p
spark 与 hadoop的hdfs的连接(亲测有效)
出处::http://blog.csdn.net/oopsoom/article/details/24257981, 目前Spark的Run on的Hadoop版本大多是hadoop2以上,但是实际上各个公司的生产环境不尽相同,用到2.0以上的公司还是少数。 大多数公司还是停留在1代hadoop上,所以我就拿<em>spark</em>0.91 +  hadoop0.20.2-cdh3u
Spark的Application和依赖的公共jar单独存放
在Spark做大数据分析的时候,我们需要将依赖的第三方<em>jar</em><em>包</em>或者我们自己写的公共<em>包</em>单独放在不同的地方,这样可以保持有一份公共的<em>jar</em><em>包</em>库,当有新的开发任务或者要部署到其其他服务器的时候,只要把这些<em>jar</em><em>包</em>拷贝过去就行。 比如我在我的服务器上建立两个目录,一个是commonlib,一个是driverlib,我们可以将依赖的第三方<em>jar</em><em>包</em>,比如mysql的驱动<em>jar</em><em>包</em>放在commonlib文
Spark任务提交jar依赖解决方案
通常我们将<em>spark</em>任务编写后打<em>包</em>成<em>jar</em><em>包</em>,使用<em>spark</em>-<em>submit</em>进行提交,因为<em>spark</em>是分布式任务,如果运行机器上没有对应的依赖<em>jar</em>文件就会报ClassNotFound的错误。 下面有三个解决方法:方法一:<em>spark</em>-<em>submit</em> –<em>jar</em>s根据<em>spark</em>官网,在提交任务的时候<em>指定</em>–<em>jar</em>s,用逗号分开。这样做的缺点是每次都要制定<em>jar</em><em>包</em>,而且多的时候容易乱。或者不用<em>jar</em>s也可使用
[Spark应用依赖jar的添加解决方案]
Spark应用依赖<em>jar</em><em>包</em>添加无效的解决方案      在Spark应用中,我们发现,在${SPARK_HOME}\lib文件夹中添加<em>jar</em><em>包</em>时并不起作用。那么,要如何使得我们编写的Sparky应用依赖的<em>jar</em>有效呢?有如下四种方案:    1.使用参数--<em>jar</em>s 添加本地的第三方<em>jar</em>文件(运行<em>spark</em>-<em>submit</em>脚本的机器上),可以给定多个<em>jar</em>文件,中间用逗号隔开     例子:   ...
spark-任务提交多个jar问题(Oozie调度)
<em>spark</em>-<em>submit</em> \ --class com.xxx.bigdata.handler.xxx \ -- 运行的主类 --master yarn \ --deploy-mode client \ --driver-memory 1g \ --executor-memory 2g \ --executor-cores 2 \ --<em>jar</em>s hdfs:///user/admin/xx/bas...
平台搭建---Spark Submit提交应用程序
本部分来源,也可以到<em>spark</em>官网查看英文版。 使用<em>spark</em>-<em>submit</em>时,应用程序的<em>jar</em><em>包</em>以及通过—<em>jar</em>s选项<em>包</em>含的任意<em>jar</em>文件都会被自动传到集群中。<em>spark</em>-<em>submit</em> --class --master --<em>jar</em>s Spark根目录的bin目录下<em>spark</em>-<em>submit</em>脚本用于在集群上启动应用程序,它通过统一接口使用Spark所支持的所有集群管理器,因此无需特殊配置每一个
spark-submit提交最小方式运行,与第三方依赖分离
通常使用<em>spark</em>-<em>submit</em> 提交任务时,是把第三方依赖与项目代码打成一个很大的<em>jar</em><em>包</em>来运行,比如sbt-assembly。其实这样很不方便,每次改了代码,需要很长的打<em>包</em>时间,上传服务器也慢,还可能出现 Can’t open so many files的问题 常见的打可执行<em>包</em>方式有3种 1.所有第三方依赖和项目自身代码打成一个,且第三方依赖全部解压为class文件,例如sbt-asse...
spark-submit上传jar时间较长的解决
出现的场景: 在<em>spark</em>-<em>submit</em>提交Spark作业时,发现上传Spark依赖到hdfs时间长达数分钟。 这个日志之后在上传程序依赖的<em>jar</em>,根据不同网络负荷,需要耗时数十秒甚至数分钟,导致任务提交速度超级慢,在官网上查到出现这种现象的原因:https://<em>spark</em>.apache.org/docs/2.1.1/running-on-yarn.html 其中有这么一句话: To ma...
spark依赖外部第三方jar
一、摘要 由于项目需要搭建<em>spark</em>单独提交<em>jar</em><em>包</em>运行,而<em>spark</em>提交<em>jar</em><em>包</em>执行,需要依赖外部其他第三方<em>jar</em><em>包</em>时候,官方给出的是在<em>spark</em>-<em>submit</em>命令上增加 --<em>jar</em>s 参数去<em>指定</em>外部<em>jar</em><em>包</em>,但是一个项目运行依赖的外部<em>jar</em>及其的多,此种方式肯定是不行的; 网上找的各种方式最终都没有效果,以下是本人所处理的结果; 二、当前运行环境 <em>spark</em>2.4.3 jdk1.8 s...
spark-submit 依赖第三方
<em>spark</em>-<em>submit</em> 提交程序时如果需要一些其他<em>包</em>,使用--<em>jar</em>s xxxx.<em>jar</em>,xxxx.<em>jar</em>......,使用多个<em>jar</em><em>包</em>时需要注意,每个<em>jar</em><em>包</em>必须从根目录开始写即/xxx/xxx...<em>jar</em>,否则系统会将后面的视为一个<em>jar</em><em>包</em>...
Spark --jars 依赖的优先级顺序
Spark 依赖<em>包</em>来源 我们知道Spark application运行加载依赖有三个地方: SystemClasspath -- Spark安装时候提供的依赖<em>包</em> Spark-<em>submit</em> --<em>jar</em>s 提交的依赖<em>包</em> Spark-<em>submit</em> --config "<em>spark</em>.{driver/executor}.extraClassPath=someJar"提交的依赖<em>包</em> Spark...
Spark jar找不到解决方法
今天在使用Spark中DataFrame往Mysql中插入RDD,但是一直报出以下的异常次信息: [itelbog@iteblog ~]$ bin/<em>spark</em>-<em>submit</em> --master local[2] --<em>jar</em>s lib/mysql-connector-java-5.1.35.<em>jar</em> --class <em>spark</em>.<em>spark</em>ToJDBC ./<em>spark</em>-test_2.10-1
优雅解决Spark Application jar冲突问题
前言 当我们开发的Spark Application变得越来越复杂,依赖的<em>jar</em><em>包</em>越来越多时,难免会碰到<em>jar</em><em>包</em>冲突的问题。 举个例子: 我们的业务代码用到了一个第三方库,好比:guava(虽然好用,但是版本间的兼容性差的一坨翔) Spark本身也依赖了guava,但是和业务代码中依赖的guava版本不同 这种情况下,把我们的Spark Application提交到集群里执行,很有可能因为...
Spark submit deploy_mode cluster 中的第三方JAR
本文介绍了一个种解决<em>spark</em>在cluster模式下提交作业无法添加第三方JAR<em>包</em>并引起class not found 异常的解决方案
spark加载外部资源方式
首选说明<em>spark</em>加载文件: 1、采用 Source. fromFile (LocalPath)方式加载,可加载本地文件,这里本地文件指的是非集群方式 2、加载hdfs,sc.textfile() 3、采用 sc.textFile(“file:///path to the file/”),要求本地文件必须存在集群上的所有节点,且<em>路径</em>相同 (集群模式),local模式可以加载。个人测试机
spark submit依赖jar批量添加小技巧
晾干货,不解释s=`ls ./lib/`str<em>jar</em>=`echo $s | sed &quot;s/ /,/g&quot;`
spark项目中添加自己的jar
在<em>spark</em>项目中添加自己的<em>jar</em><em>包</em>
SparkSQL:如何找到与Spark版本对应的jar
方法:进入Spark官网,下载对应版本的Spark,注意相应版本号,以及直接下载预编译的版本,不要下源码<em>包</em> 下载之后,解压,到该文件夹下的<em>jar</em>s目录,对应Spark版本的相应<em>jar</em><em>包</em>均在其中,再导入IDE既可以进行开发了
蜗龙徒行-Spark学习笔记【四】Spark集群中使用spark-submit提交jar任务实战经验
所遇问题:由于在IDEA下可以方便快捷地运行scala程序,所以先前并没有在终端下使用<em>spark</em>-<em>submit</em>提交打<em>包</em>好的<em>jar</em>任务<em>包</em>的习惯,但是其只能在local下执行,在网上搜了好多帖子都不能启动<em>spark</em>集群,由于实验任务紧急只能暂时作罢IDEA下任务提交,改由终端下使用<em>spark</em>-<em>submit</em>提交打<em>包</em>好的<em>jar</em>任务。
spark 第三方jar
./<em>spark</em>-<em>submit</em> –<em>jar</em>s $LIBJARS –class test.MyApp –master local myApp.<em>jar</em>在~/.bashrc 加上for i in `ls /path/to/your/third/party/*.<em>jar</em>` do LIBJARS=$i,$LIBJARS done export LIBJARS=$LIBJARShttp://stackoverflo
Spark调优-防止不必要的jar上传与分发
Spark调优-防止不必要的<em>jar</em><em>包</em>上传与分发 每个Application都会上传一个<em>spark</em>-assembly-x.x.x-SNAPSHOT-hadoopx.x.x-cdhx.x.x.<em>jar</em>的<em>jar</em><em>包</em>,影响HDFS的性能以及占用HDFS的空间 对于用户的<em>jar</em><em>包</em>,有时候体积也非常庞大,我们同样的方式上传hdfs上,然后直接使用。 基于YARN模式验证 bin/<em>spark</em>-submi
使用spark-submit提交jarspark standalone集群(续)
继续上篇文章利用Intellij Idea在windows搭建<em>spark</em> 开发环境(含打<em>jar</em><em>包</em>过程)(一) 以及 Sparksql处理json日志[要求<em>spark</em>sql统计json日志条数存入mysql数据库]                          本章将把打好的<em>jar</em>提交到集群运行。[如何打<em>jar</em> <em>包</em>请看上文第一篇] 环境:centos7,windows10,intelli
[Spark]Spark 应用程序部署工具spark-submit
1. 简介Spark的bin目录中的<em>spark</em>-<em>submit</em>脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器,因此不必为每个集群管理器专门配置你的应用程序(It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to co
spark-submit 依赖解决方案
<em>spark</em>的<em>jar</em><em>包</em>没必要把所有相关的依赖都打进一个<em>jar</em><em>包</em>中,因为这样会把<em>spark</em>、hadoop本身相关的<em>jar</em><em>包</em>也打进去,但是这些依赖在用<em>spark</em>-<em>submit</em>命令运行时,会自动加载部署环境中已有的。/opt/cloudera/parcels/CDH/bin/<em>spark</em>-<em>submit</em> \–class “cn.icarevision.its007.upgrade.EsIndexUpgrade”
使用spark-submit提交到的各个模式
使用<em>spark</em>-<em>submit</em>提交到yarn上遇到的第三方<em>jar</em><em>包</em>的问题 <em>spark</em>-<em>submit</em> on yarn cluster can't use third-party librarie
聊聊spark-submit的几个有用选项
我们使用<em>spark</em>-<em>submit</em>时,必然要处理我们自己的配置文件、普通文件、<em>jar</em><em>包</em>,今天我们不讲他们是怎么走的,我们讲讲他们都去了哪里,这样我们才能更好的定位问题。我们...
大数据学习之路88-将jar提交到spark集群需要注意的
我们可以将上一节将数据写入MySql的程序用maven将程序打<em>包</em>,然后将<em>jar</em><em>包</em>提交到<em>spark</em>集群。 执行语句如下: 我们可以看到这里<em>指定</em>了两次mysql的连接驱动,这是为什么呢? 因为Driver端获取数据库中的元数据信息的时候需要连接驱动,executor真正执行的时候也需要和数据库打交道,也需要数据库的连接驱动。...
spark-submit几种情况
1.打<em>包</em> 打<em>包</em>后,生成两个文件,一个是只<em>包</em>含代码的,一个是<em>包</em>含所有<em>jar</em><em>包</em>的。 2.提交 2.1.提交scala文件 <em>spark</em>-<em>submit</em> --executor-memory 5g --driver-memory 3g --master <em>spark</em>://node11:7077 &amp;amp;amp;amp;amp;amp;amp;lt; als.scala 2.2.提交py文件 <em>spark</em>-<em>submit</em> --driver-memory 2...
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
除本人同意外,严禁一切转载,徽沪一郎。 概要 编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用<em>spark</em>-<em>submit</em>来进行应用的提交,在使用<em>spark</em>-<em>submit</em>的过程中,有哪些事情需要注意的呢? 本文试就此做一个小小的总结。 <em>spark</em>-defaults.conf Spark-defaults.conf的作用范围要搞...
spark-submit使用及说明
为什么80%的码农都做不了架构师?&gt;&gt;&gt; ...
spark-submit运行jar脚本命令
找到<em>spark</em>-<em>submit</em>文件的目录 目录/<em>spark</em>-<em>submit</em> --master <em>spark</em>://192.168.172.10:7077 --executor-memory 2g --total-executor-cores 10 --driver-memory 4G --class com.test.main.test test.<em>jar</em>参数: --master <em>spark</em>集群
使用sparksubmit提交application时始终找不到三方jar 提升class not found
<em>spark</em>2.1.0 hadoop 2.6.0(ambari)<em>spark</em>中使用了三方<em>jar</em>并且运行模式为yarn时,执行如下命令:./<em>spark</em>-<em>submit</em> --master yarn --deploy-mode cluster --driver-memory 1g --executor-memory 3g --executor-cores 1 --class com.test.Test /tm...
spark-submit --files 动态加载外部资源文件
在做<em>spark</em>时,有些时候需要加载资源文件,需要在driver或者worker端访问。在client模式下可以使用IO流直接读取,但是在cluster模式下却不能直接读取,需要如下代码: val is: InputStream = this.getClass.getResourceAsStream(“./xxx.sql”) val bufferSource = Source.fromInput...
推荐 130 个令你眼前一亮的网站,总有一个用得着
总结了大学生活两年来,发现的 130 余个黑科技网站,总有一个会让你眼前一亮,赶紧收藏!
在中国程序员是青春饭吗?
今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...
我在支付宝花了1分钟,查到了女朋友的开房记录!
在大数据时代下,不管你做什么都会留下蛛丝马迹,只要学会把各种软件运用到极致,捉奸简直轻而易举。今天就来给大家分享一下,什么叫大数据抓出轨。据史料证明,马爸爸年轻时曾被...
程序员请照顾好自己,周末病魔差点一套带走我。
程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。
卸载 x 雷某度!GitHub 标星 1.5w+,从此我只用这款全能高速下载工具!
作者 | Rocky0429 来源 | Python空间 大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网盘资源等等等等,下个资源可真不容易,不一样的方式要用不同的下载软件,因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼,某度网盘几十 kb 的下载速度让我...
20道你必须要背会的微服务面试题,面试一定会被问到
写在前面: 在学习springcloud之前大家一定要先了解下,常见的面试题有那块,然后我们带着问题去学习这个微服务技术,那么就会更加理解springcloud技术。如果你已经学了springcloud,那么在准备面试的时候,一定要看看看这些面试题。 文章目录1、什么是微服务?2、微服务之间是如何通讯的?3、springcloud 与dubbo有哪些区别?4、请谈谈对SpringBoot 和S...
讲真,这两个IDE插件,可以让你写出质量杠杠的代码
周末躺在床上看《拯救大兵瑞恩》 周末在闲逛的时候,发现了两个优秀的 IDE 插件,据说可以提高代码的质量,我就安装了一下,试了试以后发现,确实很不错,就推荐给大家。 01、Alibaba Java 代码规范插件 《阿里巴巴 Java 开发手册》,相信大家都不会感到陌生,其 IDEA 插件的下载次数据说达到了 80 万次,我今天又贡献了一次。嘿嘿。 该项目的插件地址: https://github....
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试,面试官没想到一个ArrayList,我都能跟他扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
良心推荐,我珍藏的一些Chrome插件
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件,由于支持 Markdown 直接转电子邮...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
2020 年,大火的 Python 和 JavaScript 是否会被取而代之?
Python 和 JavaScript 是目前最火的两大编程语言,但是2020 年,什么编程语言将会取而代之呢? 作者 |Richard Kenneth Eng 译者 |明明如月,责编 | 郭芮 出品 | CSDN(ID:CSDNnews) 以下为译文: Python 和 JavaScript 是目前最火的两大编程语言。然而,他们不可能永远屹立不倒。最终,必将像其他编程语言一...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
Flutter 会不会被苹果限制其发展?
这个可能性是存在的,而且不止是 flutter、react-native 、weex 、uni-app 、taro 、Hippy等都存在这个风险,虽然有些框架对比起 flutter 其他框架存在时间稍长,但是这不可否认它们一直都存在这个风向。 只要不是平台自己的亲儿子,那么肯定存在被限制发展的风险,所以这件事上是风险和收益之间的博弈,这是一个“后妈和前任之间的太极。” 先说现状 如今各大平台,如:...
Idea 中最常用的10款插件(提高开发效率),一定要学会使用!
学习使用一些插件,可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
最全最强!世界大学计算机专业排名总结!
我正在参与CSDN200进20,希望得到您的支持,扫码续投票5次。感谢您! (为表示感谢,您投票后私信我,我把我总结的人工智能手推笔记和思维导图发送给您,感谢!) 目录 泰晤士高等教育世界大学排名 QS 世界大学排名 US News 世界大学排名 世界大学学术排名(Academic Ranking of World Universities) 泰晤士高等教育世界大学排名 中国共...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
【蘑菇街技术部年会】程序员与女神共舞,鼻血再次没止住。(文末内推)
蘑菇街技术部的年会,别开生面,一样全是美女。
Linux必懂知识大总结(补)
关机 1. 数据同步写入磁盘 sync 为了加快对磁盘上文件的读写速度,位于内存中的文件数据不会立即同步到磁盘上,因此关机之前需要先进行 sync 同步操作。 2. shutdown # /sbin/shutdown [-krhc] [时间] [警告讯息] -k : 不会关机,只是发送警告讯息,通知所有在线的用户 -r : 将系统的服务停掉后就重新启动 -h : 将系统的服务停掉后就...
那个在阿里养猪的工程师,5年了……
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。 下一个五年,猪圈见! 我就是那个在养猪场里敲代码的工程师,一年多前我和20位工程师去了四川的猪场,出发前总架构师慷慨激昂的说:同学们,中国的养猪产业将因为我们而改变。但到了猪场,发现根本不是那么回事:要个WIFI,没有;...
为什么程序猿都不愿意去外
分享外<em>包</em>的组织架构,盈利模式,亲身经历,以及根据一些外<em>包</em>朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助
Java校招入职华为,半年后我跑路了
何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...
世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight...
Python全栈 Linux基础之3.Linux常用命令
Linux对文件(<em>包</em>括目录)有很多常用命令,可以加快开发效率:ls是列出当前目录下的文件列表,选项有-a、-l、-h,还可以使用通配符;c功能是跳转目录,可以使用相对<em>路径</em>和绝对<em>路径</em>;mkdir命令创建一个新的目录,有-p选项,rm删除文件或目录,有-f、-r选项;cp用于复制文件,有-i、-r选项,tree命令可以将目录结构显示出来(树状显示),有-d选项,mv用来移动文件/目录,有-i选项;cat查看文件内容,more分屏显示文件内容,grep搜索内容;>、>>将执行结果重定向到一个文件;|用于管道输出。
​两年前不知如何编写代码的我,现在是一名人工智能工程师
全文共3526字,预计学习时长11分钟 图源:Unsplash 经常有小伙伴私信给小芯,我没有编程基础,不会写代码,如何进入AI行业呢?还能赶上AI浪潮吗? 任何时候努力都不算晚。 下面,小芯就给大家讲一个朋友的真实故事,希望能给那些处于迷茫与徘徊中的小伙伴们一丝启发。(下文以第一人称叙述) 图源:Unsplash 正如Elsa所说,职业转换是...
强烈推荐10本程序员必读的书
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。 有些读者私下问我,窝了几天,有点颓丧,能否推荐几本书在家里看看。我花了一天的时间,挑选了 10 本我最喜欢的书,你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力,还可以对未来充满希望,毕竟苦难终将会...
Python实战:抓肺炎疫情实时数据,画2019-nCoV疫情地图
今天,群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者,国家重点实验室成员,于不惑之年学习python,实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据,也没有画过类似的数据分布图。于是就拿了两个小时,专门研究了一下,遂成此文。
作为一个程序员,内存的这些硬核知识你必须懂!
我们之前讲过CPU,也说了CPU和内存的那点事儿,今天咱就再来说说有关内存,作为一个程序员,你必须要懂的哪那些硬核知识! 大白话聊一聊,很重要! 先来大白话的跟大家聊一聊,我们这里说的内存啊,其实就是说的我们电脑里面的内存条,所以嘞,内存就是内存条,数据要放在这上面才能被cpu读取从而做运算,还有硬盘,就是电脑中的C盘啥的,一个程序需要运行的话需要向内存申请一块独立的内存空间,这个程序本身是存放在...
非典逼出了淘宝和京东,新冠病毒能够逼出什么?
loonggg读完需要5分钟速读仅需 2 分钟大家好,我是你们的校长。我知道大家在家里都憋坏了,大家可能相对于封闭在家里“坐月子”,更希望能够早日上班。今天我带着大家换个思路来聊一个问题...
牛逼!一行代码居然能解决这么多曾经困扰我半天的算法题
春节假期这么长,干啥最好?当然是折腾一些算法题了,下面给大家讲几道一行代码就能解决的算法题,当然,我相信这些算法题你都做过,不过就算做过,也是可以看一看滴,毕竟,你当初大概率不是一行代码解决的。 学会了一行代码解决,以后遇到面试官问起的话,就可以装逼了。 一、2 的幂次方 问题描述:判断一个整数 n 是否为 2 的幂次方 对于这道题,常规操作是不断这把这个数除以 2,然后判断是否有余数,直到 ...
用前端5分钟写一个在线m3u8在线播放器
&lt;!DOCTYPE html&gt; &lt;html lang="en"&gt; &lt;head&gt; &lt;meta charset="UTF-8"&gt; &lt;meta name="viewport" content="width=device-width, initial-scale=1.0"&gt; &lt;meta http-equiv="X...
Spring框架|JdbcTemplate介绍
文章目录一、JdbcTemplate 概述二、创建对象的源码分析三、JdbcTemplate操作数据库 一、JdbcTemplate 概述 在之前的web学习中,学习了手动封装JDBCtemplate,其好处是通过(sql语句+参数)模板化了编程。而真正的JDBCtemplete类,是Spring框架为我们写好的。 它是 Spring 框架中提供的一个对象,是对原始 Jdbc API 对象的简单...
为什么说程序员做外没前途?
之前做过不到3个月的外<em>包</em>,2020的第一天就被释放了,2019年还剩1天,我从外<em>包</em>公司离职了。我就谈谈我个人的看法吧。首先我们定义一下什么是有前途 稳定的工作环境 不错的收入 能够在项目中不断提升自己的技能(ps:非技术上的认知也算) 找下家的时候能找到一份工资更高的工作 如果你目前还年轻,但高不成低不就,只有外<em>包</em>offer,那请往下看。 外<em>包</em>公司你应该...
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合...
终于!疫情之下,第一批企业没能熬住面临倒闭,员工被遣散,没能等来春暖花开!
先来看一个图: 这个春节,我同所有人一样,不仅密切关注这次新型肺炎,还同时关注行业趋势和企业。在家憋了半个月,我选择给自己看书充电。因为在疫情之后,行业竞争会更加加剧,必须做好未雨绸缪,时刻保持充电。 看了今年的情况,突然想到大佬往年经典语录: 马云:未来无业可就,无工可打,无商可务 李彦宏:人工智能时代,有些专业将被淘汰,还没毕业就失业 马化腾:未来3年将大洗牌,迎21世界以来最大失业潮 王...
昂,我24岁了
24岁的程序员,还在未来迷茫,不知道能不能买得起房子
作为程序员的我,大学四年一直自学,全靠这些实用工具和学习网站!
我本人因为高中沉迷于爱情,导致学业荒废,后来高考,毫无疑问进入了一所普普通通的大学,实在惭愧???? 我又是那么好强,现在学历不行,没办法改变的事情了,所以,进入大学开始,我就下定决心,一定要让自己掌握更多的技能,尤其选择了计算机这个行业,一定要多学习技术。 在进入大学学习不久后,我就认清了一个现实:我这个大学的整体教学质量和学习风气,真的一言难尽,懂的人自然知道怎么回事? 怎么办?我该如何更好的提升自...
新来个技术总监,禁止我们使用Lombok!
我有个学弟,在一家小型互联网公司做Java后端开发,最近他们公司新来了一个技术总监,这位技术总监对技术细节很看重,一来公司之后就推出了很多"政策",比如定义了很多开发规范、日志规范、甚至是要求大家统一使用某一款IDE。 但是这些都不是我这个学弟和我吐槽的点,他真正和我吐槽的是,他很不能理解,这位新来的技术总监竟然禁止公司内部所有开发使用Lombok。但是又没给出十分明确的,可以让人信服的理由。 于...
疫情下的招聘季还会是金三银四吗?
想必大家都看过朋友圈流行的一个段子: 前天一觉醒来,假期还有⑤天。昨天一觉醒来,假期还有⑦天。今天一觉醒来,假期还有⑬天。真的不敢再睡了 今天,有个朋友跟我说: 一觉醒来,公司倒闭了。 昨天有些公司已经通知复工了,有些选择在线办工,也些同学也已进入公司码代码了。 能复工的同学应该庆幸,因为你们公司还能撑得下去。 对于大部分的打工族而言,休假比工作爽,反正啥活不干,工资照发。 而对于企...
2万字Java并发编程面试题合集(含答案,建议收藏)
Java 并发编程 1、在 java 中守护线程和本地线程区别? 2、线程与进程的区别? 3、什么是多线程中的上下文切换? 4、死锁与活锁的区别,死锁与饥饿的区别? 5、Java 中用到的线程调度算法是什么? 6、什么是线程组,为什么在 Java 中不推荐使用? 7、为什么使用 Executor 框架? 8、在 Java 中 Executor 和 Executors 的区别? 9...
2020年,最适合AI的5种编程语言
来源 |medium编译 | 张涛责编 | Carol出品 | AI科技大本营(ID:rgznai100)AI系统的开发必须有计算机代码,而计算机程序的开发有不同类型的编程语言可以选择...
在三线城市工作爽吗?
我是一名程序员,从正值青春年华的 24 岁回到三线城市洛阳工作,至今已经 6 年有余。一不小心又暴露了自己的实际年龄,但老读者都知道,我驻颜有术,上次去看房子,业务员肯定地说:“小哥肯定比我小,我今年还不到 24。”我只好强颜欢笑:“你说得对。” 从我拥有记忆到现在进入而立之年,我觉得,我做过最明智的选择有下面三个: 1)高中三年,和一位女同学保持着算不上朋友的冷淡关系;大学半年,把这位女同学追到...
这些插件太强了,Chrome 必装!尤其程序员!
推荐 10 款我自己珍藏的 Chrome 浏览器插件
大学四年,这个Java学习路线,让我现在进了阿里
互联网浮沉多年,想给大家点干货,内附资源
技术大佬:我去,你写的 switch 语句也太老土了吧
昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...
和黑客斗争的 6 天!
互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...
单片机控制超声波测距仪毕业设计下载
单片机控制超声波测距一,仅供参考,有时间的话还是在即做一下,答辩时候,更容易通过。。。。。。。。。。。。。。。 相关下载链接:[url=//download.csdn.net/download/yaphade/3280966?utm_source=bbsseo]//download.csdn.net/download/yaphade/3280966?utm_source=bbsseo[/url]
PCB设计技巧百问下载
针对初学者做的解答关于pcb设计方面的资料,初学者比看 相关下载链接:[url=//download.csdn.net/download/qq_24831079/8300539?utm_source=bbsseo]//download.csdn.net/download/qq_24831079/8300539?utm_source=bbsseo[/url]
c程序设计课后答案(谭浩强三版)下载
c程序设计课后答案c程序设计课后答案c程序设计课后答案(谭浩强三版) 相关下载链接:[url=//download.csdn.net/download/mpf814348235/1242798?utm_source=bbsseo]//download.csdn.net/download/mpf814348235/1242798?utm_source=bbsseo[/url]
我们是很有底线的