Hadoop 关闭 推测执行 的办法 [问题点数:40分]

Bbs1
本版专家分:0
结帖率 50%
Bbs1
本版专家分:0
Hadoop推测执行
最近在测试环境跑任务,有一部分任务出现如下情况: <em>推测</em><em>执行</em>(Speculative Execution)是指在集群环境下运行MapReduce,可能是程序Bug,负载不均或者其他的一些问题,导致在一个JOB下的多个TASK速度不一致,比如有的任务已经完成,但是有些任务可能只跑了10%,根据木桶原理,这些任务将成为整个JOB的短板,如果集群启动了<em>推测</em><em>执行</em>,这时为了最大限度的提高短板,Hadoo...
Hive常用优化参数
Hive常用优化参数常用调优测试语句 : ①显示当前hive环境的参数值:set 参数名;如:  hive&amp;gt; set mapred.map.tasks;mapred.map.tasks; ②设置hive当前环境的参数值,但仅对本次连接有效set 参数名 = 值;如:hive&amp;gt; set mapred.map.tasks;mapred.map.tasks=2;hive job优化1、并行优...
如何杀掉当前正在执行的hadoop任务
列出当前hadoop正在<em>执行</em>的jobs: [hadoop@192.168.10.11 hadoop-0.20.2-cdh3u3]$ hadoop job -list 10 jobs currently running JobId   State   StartTime       UserName        Priority        SchedulingInfo job_20
Hadoop中任务推测执行
作业完成时间取决于最慢的任务完成时间 一个作业由若干Map任务和Reduce任务构成,但因硬件老化,软件BUG,某些任务可能运行非常慢 典型案例:系统中有 99%的 Map 任务都完成了,只有少数几个 Map 老是进度很慢,完不成,怎么办? <em>推测</em><em>执行</em>机制 发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度,为拖后腿任务启动一个备份任务,同时运行,谁先运行完,就用谁的结果 <em>执行</em><em>推测</em>...
MapReduce任务的推测执行
MapReduce模型将作业分解成任务,然后并行地运行任务以使作业的整体<em>执行</em>时间少于各个任务顺序<em>执行</em>的时间。这使作业<em>执行</em>时间对于运行缓慢的任务很敏感,因为只运行一个缓慢的任务会使整个作业所用的时间远远长于<em>执行</em>其他任务的时间。当一个作业由几百或几千个任务组成时,可能出现少数“拖后腿”的任务,这是很常见的。 任务<em>执行</em>缓慢可能有多种原因,包括硬件老化或软件配置错误,但是,检测具体原因很困难,因为任务总能...
cdh 关闭监控monitor
如果只是单机单间的cm,可以<em>关闭</em>cm的监控来节省内存。 1、登录cm管理界面 http://centos1:7180/cmf/home 2、在Cloudera Management Service现在选择停止cm即可, 点击上图的邮编的三角符号,选择【停止】 3、<em>关闭</em>后,界面是的监控都会显示查询错误,但不会影响集群的正常运行 ...
hive开启和关闭推测执行
      hive开启<em>推测</em><em>执行</em>:   mapred.map.tasks.speculative.execution=truemapred.reduce.tasks.speculative.execution=truehive.mapred.reduce.tasks.speculative.execution=true;     hive<em>关闭</em><em>推测</em><em>执行</em>:   http://ww...
Hadoop 推测执行
1.作业完成时间取决于最慢的任务完成时间    一个作业由若干个Map任务和Reduce任务构成。因硬件老化、软件Bug等,某些任务可能运行非常慢。    典型案例:系统中有99%的Map任务都完成了,只有少数几个Map老是进度很慢,完不成,怎么办?2.<em>推测</em><em>执行</em>机制:    发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务,同时运行。谁先运行完,则采用谁的结果...
MapReduce的推测执行(Hive优化)
关于<em>Hadoop</em> MapReduce<em>推测</em>任务: 在分布式集群环境下,因为程序 Bug(包括 <em>Hadoop</em> 本身的 bug),负载不均衡或者资 源分布不均等原因,会造成同一个作业的多个任务之间运行速度不一致,有些任务的运行速 度可能明显慢于其他任务(比如一个作业的某个任务进度只有 50%,而其他所有任务已经 运行完毕),则这些任务会拖慢作业的整体<em>执行</em>进度。为了避免这种情况发生,<em>Hadoop</em> 采 用了...
黑猴子的家:Hive 优化之 推测执行
在分布式集群环境下,因为程序Bug(包括<em>Hadoop</em>本身的bug),负载不均衡或者资源分布不均等原因,会造成同一个作业的多个任务之间运行速度不一致,有些任务的运行速度可能明显慢于其他任务(比如一个作业的某个任务进度只有50%,而其他所有任务已经运行完毕),则这些任务会拖慢作业的整体<em>执行</em>进度。为了避免这种情况发生,<em>Hadoop</em>采用了<em>推测</em><em>执行</em>(Speculative Execution)机制,它根据一...
hadoop分别启动或关闭守护进程(开启进程流程)
分别启动守护进程   (被[ ]包起来的可省略) ----------- 1.启动namenode     $&amp;gt;hadoop-daemons.sh   [--config ~/soft/hadoop/etc/hadoop]   start namenode 2.启动datanode     $&amp;gt;hadoop-daemons.sh   [--config ~/soft/hadoop/et...
如何启动hadoop以及如何查询hadoop服务是否起来了
重启了下虚拟机,hive连接半天都连接步上,想了想好像是hadoop都没运行。 准备运行的时候,连hadoop怎么启动都忘了,这个水平怎么面试呢。 所以赶紧记下来。 启动方式: /usr/local/hadoop/sbin$ start-all.sh 在hadoop安装目录下进sbin目录,运行以上命令。   启动完成后,输入命令jps来判断是否启动成功  若成功启动则会列出如下进程...
MapReduce学习笔记(2) ——推测执行
来源:《<em>Hadoop</em>权威指南(第2版)》 &amp;amp;amp;amp;amp;nbsp; 1. 为什么需要<em>推测</em><em>执行</em>? MapReduce将作业分解成多个任务并行运行的机制,决定了作业运行的总体时间对运行缓慢的任务比较敏感。为了尽量避免运行缓慢的任务对作业运行时间“托后腿”的情况,需要启动作业的<em>推测</em><em>执行</em>。 &amp;amp;amp;amp;amp;nbsp; 2. 什么是<em>推测</em><em>执行</em>? 当<em>Hadoop</em>检测到一个任务运行比预期慢时,它会启动一个相同的任务进行备份。这就是任务...
Hadoop:启动与停止命令
<em>Hadoop</em>认证培训:启动与停止命令,在安装配置了<em>Hadoop</em>的伪分布式环境后就可以启动<em>Hadoop</em>了,首先需要格式化HDFS分布式文件系统,进入<em>Hadoop</em>的bin目录,操作命令如下: hadoop namenode -format 正常格式化HDFS的显示截图,如图2-1所示。 然后就可以启动<em>Hadoop</em>,进入<em>Hadoop</em>的bin目录,操作命令如下:
hadoop 提交任务总是挂起状态
检查tasktracker 是否正常启动了,有可能中途挂掉了,重启就可以了。
大数据(十六):Yarn的工作机制、资源调度器、任务的推测执行机制
一、Yarn概述         Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作程序上的应用程序。   二、Yarn基本架构         Yarn主要由ResourceManager、NodeManager、ApplicationMater和Container等组件构成   三、Ya...
linux命令(杀任务,看日志,查目录大小,打包压缩, pyspark json jar)
yarn application -list yarn application -kill hadoop job -list hadoop job -kill
hive 配置参数说明
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto.inputbytes.max 如果 hive.exec.mode.local.auto 为 true,当输入文件大小小于此阈值时可以自动在本地模式运行,默
MR推测执行
mapred.map.tasks.speculative.execution boolean true 如果任务运行变慢,该属性决定了是否要启动一个map任务的另外一个实力 mapred.reduce.tasks.speculative.execution boolean true 如果任务运行变慢,该属性决定这是否需要启动一个reduce任务 yarn.app.mapreduce.
Hadoop中Speculative Task调度策略
1. 背景 Speculative Task,又叫<em>推测</em>式任务,是指在分布式集群环境下,因为程序bug,负载不均衡或者资源分布不均,造成同一个job的多个task运行速度不一致,有的task运行速度明显慢于其他task(比如:一个job的某个task进度只有10%,而其他所有task已经运行完毕),则这些task拖慢了作业的整体<em>执行</em>进度,为了避免这种情况发生,<em>Hadoop</em>会为该task启动spec
Hadoop2.6.0运行mapreduce之推断(speculative)执行(上)
前言当一个应用向YARN集群提交作业后,此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致,甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化,最慢的任务最终会拖慢整个作业的整体<em>执行</em>进度。好在mapreduce框架提供了任务推断<em>执行</em>机制,当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先<em>执行</em>完的结果作为最终结果。由于具体分析推
MapReduce运行机制(四) 任务的执行
任务<em>执行</em>环境<em>Hadoop</em>提供运行环境信息1) 处理文件名称2) 任务的尝试次数3) 作业配置信息...Streaming环境变量<em>Hadoop</em>设置作业配置参数作为Streaming环境变量,下划线代替非字母数字的符号1) os.environ[&quot;mapreduce_job_id&quot;]    Python2) -cmdenv 设置环境变量    -cmdenv MAGIC_PARAMETER=abrac...
Hadoop五大守护进程的三种启动与关闭方式
<em>Hadoop</em>五大守护进程的三种启动与<em>关闭</em>方式   第一种启动方式: 进入【 <em>Hadoop</em>-1.x / bin】目录,<em>执行</em>start-all.sh,JPS查看进程,全部启动成功。 19043 NameNode 19156 DataNode 19271SecondaryN
Hadoop作业提交与停止命令
1. 作业提交命令 jarhadoop jar [mainClass] args.. 表示 jar 包名 mainClass 表示 main class 名称,可以不必输入而由 jar 命名自动搜索 args 是 main class 输入参数 bin/hadoop jar hadoop-examples-1.0.0.jar wordcount /text/input /test
启动hadoop进程检验集群部署
写在前面: 文章内容为2015年年初准备毕业设计时随手记录的笔记 工具: VMware 11 ubuntu 14.04.1 <em>Hadoop</em> 2.5.2 正文: 上一篇介绍了如何安装配置,接下来说如何启动进程,检验集群有没有部署成功。 0. 格式化NameNode bin/hdfs namenode -f
hadoop命令 -- job相关
hadoop命令行 与job相关的: 命令行工具 •  1.查看 Job 信息: hadoop job -list  2.杀掉 Job:  hadoop  job –kill  job_id 3.指定路径下查看历史日志汇总: hadoop job -history output-dir  4.作业的更多细节:  hadoop job -history all output-dir
运行中hadoop任务修改/kill
操作 命令 kill任务 hadoop job -kill ${job-id} 修改优先级 hadoop job -set-priority ${job-id} ${priority} 修改map并发 hadoop job -set-map-capacity ${job-id} $n 修改reduce并
Hadoop任务失败之解决过程
公司一个只有两个节点的<em>Hadoop</em>集群,提交作业出现失败: 开发一直找不到原因,于是我决定自己解决一下。 首先查看日志: 查询网上相关信息,看看有没有人遇到过,比较幸运,还真有: 看看别人是怎么回答他的: 这里意思是集节点的用自己的自身的系统时间的时候可以偶尔漂移,随着时间的推移。 “对于任何容器,如果相应的NM并不默认10分钟,该容器已开始的时间配置的时间间隔
hadoop提交任务过程
1.向resourcemanager申请一个applicationID 2.检查output的情况(比如是否有指定output文件夹,output文件夹是否存在) 3.检查input 4.把运行jar文件需要的资源拷贝到hdfs上(jar文件默认会被复制十份,由mapreduce.client.submit.file.replication确定)
多数据更新冲突处理机制
一 背景         在做一个数据合并项目的时候,遇到了多数据源更新同一数据,导致并发更新冲突的问题。具体场景是,有一个数据实时采集服务,然后通过数据merge服务,完成最终的数据合并操作。但是在做合并操作时,有可能会存在并发冲突,后一个线程将前一个线程刚处理后的字段给覆盖。当时的存储引擎是es,虽然es本身自带版本控制功能,但是由于es自身的刷新时间间隔,以及项目本身设置的刷新时间较长(场
Eclipse相关错误导致web项目发布异常问题原因分析及解决方案
问题背景 已经成功发布到tomcat(前端请求几个接口,都能够正常工作)的项目,再次发布之后报错。 在实现第一版接口之后,我把全部源码用git管理,并Push到服务端。随后,我修改了某一个java文件,在其中加了一行绝对不影响功能、逻辑的代码,保存之后,eclipse突然报错,一片标红,错误提示是整个java类中,引用到的其他类都找不到。类似于: The import imp4sep.p
应用系统之间数据传输的几种方案
应用系统之间数据传输的几种方式 第一种方案:socket方式 Socket方式是最简单的交互方式。是典型才C/S交互模式。一台客户机,一台服务器。 服务器提供服务,通过IP地址和端口进行服务访问。而客户机通过连接服务器指定的端口进行消息交互。 其中传输协议可以是TCP/UDP 协议。而服务器和约定了请求报文格式和响应报文格式。 如图一所示
关于Hadoop任务的学习
其实之前只是会配置环境,对详细细节甚至具体的编程真心不太了解,上网搜到了比较好的资源 在此mark一下,准备后续学习 http://www.cnblogs.com/esingchan/p/3917252.html
Hadoop执行任务过程
用户从client端提交一个任务,此任务指定了运行的jar包,除java jre外依赖的jar包,待处理的数据文件以及输出文件夹的位置和名称client端首先检查此任务输出的文件夹是否存在,然后向JobTracker为此任务申请一个id,然后在hdfs中创建一个对应此任务的文件夹,将这个任务依赖的外部jar包以及任务要运行的jar包放入此任务的文件夹中;然后调用任务的InputFormat中的
spark之推测执行
1、什么是<em>推测</em><em>执行</em>?   在spark作业运行中,一个stage里面的不同task的<em>执行</em>时间可能不一样,有的task很快就<em>执行</em>完成了,而有的可能<em>执行</em>很长一段时间也没有完成。造成这种情况的原因可能是集群内机器的配置性能不同、网络波动、或者是由于数据倾斜引起的。而<em>推测</em><em>执行</em>就是当出现同一个stage里面有task长时间完成不了任务,spark就会在不同的executor上再启动一个task来跑这个任务,...
spark的反压与推测机制
反压背景 在默认情况下,Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time &gt; batch interval 的时候,也就是每个批次数据处理的时间要比SparkStreaming 批处理间隔时间长;越来越多的数据被接收,但是数据的处理速度没有跟上,导致系统开始出现数据堆...
hadoop-cdh5.3.6
CDH版,稳定如涉及侵权内容,您的资源将被移除 • 请勿上传小说、mp3、图片等与技术无关的内容.一旦发现将被删除
【配置CDH和管理服务】关闭DataNode前HDFS的调优
配置CDH和管理服务 <em>关闭</em>DataNode前HDFS的调优 角色要求:配置员、集群管理员、完全管理员   当一个DataNode<em>关闭</em>,NameNode确保每一个DataNode中的每一个块根据复制系数(the replication factor)跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下,一个DataNode有成千上万个块,<em>关闭</em>后集群间还原备份数可能
Hadoop安装与启动(CDH5.6)
注意事项:[]为替换部分,基于cloudera的hadoop-2.6.0-cdh5.6.0<em>Hadoop</em>运行模式 单机:<em>Hadoop</em>的默认模式 伪分布:所有守护进程都运行在一个节点上。 完全分布模式:守护进程运行在多个节点上,真正的集群。 以下是完全分布式安装步骤,所有节点均用root用户<em>执行</em>。 准备工作1.在每个节点新建hadoop用户,相同的密码。 useradd hadoop passwd
搭建5个节点的hadoop集群环境(CDH5)
搭建一个分布式的hadoop集群环境,下面是详细步骤,使用cdh5 。提示:如果还不了解<em>Hadoop</em>的,可以下查看这篇文章<em>Hadoop</em>生态系统,通过这篇文章,我们可以首先大致了解<em>Hadoop</em>及<em>Hadoop</em>的生态系统中的工具的使用场景。 一、硬件准备 基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器 内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位
CDH集群的关闭与开启
周末要<em>关闭</em>大数据集群步骤如下:   1  、在主页上cloudera manager 上<em>关闭</em>cluster和service即可;    2 、远程<em>关闭</em>centos,命令如下:sudo shutdown -h now    3  、开启集群如下:             a ]   开启service   命令如下:sudo /opt/cm-5.0.0/etc/
CDH 系统优化之关闭透明大页面及设置swappiness
安装完CDH后,CDH Manager一般会提示用户需要做一些Linux系统层面的优化,主要包括两类:禁止透明大面及交换分区设置。详情请参考Cloudera官方网址:https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_admin_performance.html本文描述一下如何<em>执行</em>这个优化工作,以CentOS为例1
hadoop-cdh搭建
一、前期的环境准备参考地址 1、同步时间[root@CDHnode1 opt]# date Sat May 6 09:42:03 EDT 2017 (1)、本地联机进入/usr/share/zoneinfo/Asia [root@CDHnode2 Asia]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime cp: overwrite
Apache Hadoop(Cloudera CDH4)安装需要注意的几点
Cloudera CDH4安装方法有三种: 1、通过Cloudera Manager自动安装(只支持64bit linux操作系统); 2、通过资源包,利用Yum命令手工安装; 3、通过下载的tarball包,手工安装;          个人建议1、2两种都尝试,先2后1的方式对<em>Hadoop</em>的架构,内置的组件以及配置等会要一个比较清晰的了解。具体的安装可以参考官方文档(CDH4 In
完全关闭及再次启动cdh集群
<em>关闭</em>集群 - <em>关闭</em>集群所有组件 <em>关闭</em>Cloudera Management Service <em>关闭</em>cdh所有客户端节点 sudo /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent hard_stop_confirmed 使用stop不会停止pid相关的进程,会造成在客户端机器重启后再次启动cloudera-s...
Hadoop CDH四种安装方式总结及实例指导
CDH安装有四种方式 Cloudera manager Tarball Yum Rpm 下面是四种方式分别介绍: Cloudera manager 安装 Cloudera Manager和CDH4.1的安装 Cloudera Manager的安装需要先修改机器的三个配置:<em>关闭</em>防火墙:service iptables stop;<em>关闭</em>selinux:setenforce...
Hive高级进阶与优化
HiveServer2 参考地址:http://blog.csdn.net/czw698/article/details/44394923 1、启动hiveserver2服务 $HIVE_HOME/bin/hive --service hiveserver2 2、测试连接是否以连上 不用写jdbc程序,运行 bin/beeline.sh 然后输入 !connect jdbc
hive学习总结(7)—hive性能调优
limit限制调整 --因为使用limit语句时候,是先<em>执行</em>整个查询语句,然后再返回部分结果的 set hive.limit.optimize.enable=true; set hive.limit.row.max.size=10000; set hive.limit.optimize.limit.file=10;   2.JOIN优化 。。。   3. 本地模式 --h...
hive入门学习:浅谈hive的常见优化策略
hive入门学习:浅谈hive的常见优化策略                           hive的产生 虽然大幅度的减轻了编写MR代码的代价,但是由于它依然使用的是以mapreduce作为底层的驱动,那么由于shuffle产生的问题依然保留着,这里简单的讨论一下和hive性能优化的讨论。主要涉及如下几点:第一:合理的设置map的个数和reduce的个数,第二,选择合理的数据压缩策略,
M/R推测性的执行(Speculative execution)
<em>Hadoop</em>系统有一个问题,它把任务分派到很多个节点,其中很有可能有一些慢的节点会限制剩下程序的<em>执行</em>速度。举个例子,如果有个节点内有一个比较慢的磁盘控制器,那它读取输入数据的速度可能只有所有其它节点的速度的10%。所以当99个map任务都已经完成了,系统仍在等待最后那个比较耗时的map任务完成。   通过强迫任务独立运行于其它的任务,使得单个任务之间不会知道它们的输入数据来自哪里。任务相信Had
hiveSQL优化思路
        主要涉及到数据存储和计算两个过程,设计出合理的数据存储格式对于数据的查询和计算具有很重要的意义。存储的优化思想就是查询数据时能够很快定位到需要的数据,通过索引技术或者缩小检索数据范围来解决;传统数据库领域通过采用索引技术来优化数据的存储达到高效检索访问,在hive数仓技术中也有索引技术,但是,最常用的技术是分区和分桶技术。        表存储思想:根据表字段变更的频率进行水平拆分...
spark推测执行的坑
1、spark<em>推测</em><em>执行</em>开启设置 spark.speculation=true即可2、spark开启<em>推测</em><em>执行</em>的好处<em>推测</em><em>执行</em>是指对于一个Stage里面运行慢的Task,会在其他节点的Executor上再次启动这个task,如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果,同时会干掉其他Executor上运行的实例,从而加快运行速度3、问题我们的spark任务会将计算结果...
Hive常用参数配置优化详细记录
      hive通过将查询划分成一个或多个MapReduce任务达到并行处理的目的。每个任务都可能具有多个mapper和reducer任务,其中至少有一些是可以并行<em>执行</em>的。确定最佳的mapper个数和reducer个数取决于多个变量,例如输入的数据量大小以及对这些数据<em>执行</em>的操作类型等。  保持平衡性是很有必要的,对于Spark/<em>Hadoop</em>这样的大数据系统来讲,数据量大并不可怕,可怕的是数据倾...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
【JSON解析】浅谈JSONObject的使用
简介 在程序开发过程中,在参数传递,函数返回值等方面,越来越多的使用JSON。JSON(JavaScript Object Notation)是一种轻量级的数据交换格式,同时也易于机器解析和生成、易于理解、阅读和撰写,而且Json采用完全独立于语言的文本格式,这使得Json成为理想的数据交换语言。 JSON建构于两种结构: “名称/值”对的集合(A Collection of name/va...
《MySQL 性能优化》之理解 MySQL 体系结构
本文介绍 MySQL 的体系结构,包括物理结构、逻辑结构以及插件式存储引擎。
程序员请照顾好自己,周末病魔差点一套带走我。
程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。
卸载 x 雷某度!GitHub 标星 1.5w+,从此我只用这款全能高速下载工具!
作者 | Rocky0429 来源 | Python空间 大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网盘资源等等等等,下个资源可真不容易,不一样的方式要用不同的下载软件,因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼,某度网盘几十 kb 的下载速度让我...
只因接了一个电话,程序员被骗 30 万!
今天想给大家说一个刚刚发生在我身边的一起真实的诈骗经历,我的朋友因此被骗走30万。注:为了保护当事人隐私,部分情节进行了修改。1平安夜突来的电话开始以为就像普通的诈骗一样,想<em>办法</em>让你把钱...
我一个37岁的程序员朋友
周末了,人一旦没有点事情干,心里就瞎想,而且跟几个老男人坐在一起,更容易瞎想,我自己现在也是 30 岁了,也是无时无刻在担心自己的职业生涯,担心丢掉工作没有收入,担心身体机能下降,担心突...
python自动下载图片
近日闲来无事,总有一种无形的力量萦绕在朕身边,让朕精神涣散,昏昏欲睡。 可是,像朕这么有职业操守的社畜怎么能在上班期间睡瞌睡呢,我不禁陷入了沉思。。。。 突然旁边的IOS同事问:‘嘿,兄弟,我发现一个网站的图片很有意思啊,能不能帮我保存下来提升我的开发灵感?’ 作为一个坚强的社畜怎么能说自己不行呢,当时朕就不假思索的答应:‘oh, It’s simple. Wait for me for a ...
一名大专同学的四个问题
【前言】   收到一封来信,赶上各种事情拖了几日,利用今天要放下工作的时机,做个回复。   2020年到了,就以这一封信,作为开年标志吧。 【正文】   您好,我是一名现在有很多困惑的大二学生。有一些问题想要向您请教。   先说一下我的基本情况,高考失利,不想复读,来到广州一所大专读计算机应用技术专业。学校是偏艺术类的,计算机专业没有实验室更不用说工作室了。而且学校的学风也不好。但我很想在计算机领...
复习一周,京东+百度一面,不小心都拿了Offer
京东和百度一面都问了啥,面试官百般刁难,可惜我全会。
Java 14 都快来了,为什么还有这么多人固守Java 8?
从Java 9开始,Java版本的发布就让人眼花缭乱了。每隔6个月,都会冒出一个新版本出来,Java 10 , Java 11, Java 12, Java 13, 到2020年3月份,...
达摩院十大科技趋势发布:2020 非同小可!
【CSDN编者按】1月2日,阿里巴巴发布《达摩院2020十大科技趋势》,十大科技趋势分别是:人工智能从感知智能向认知智能演进;计算存储一体化突破AI算力瓶颈;工业互联网的超融合;机器间大规模协作成为可能;模块化降低芯片设计门槛;规模化生产级区块链应用将走入大众;量子计算进入攻坚期;新材料推动半导体器件革新;保护数据隐私的AI技术将加速落地;云成为IT技术创新的中心 。 新的画卷,正在徐徐展开。...
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API ...
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年数据比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
害怕面试被问HashMap?这一篇就搞定了!
声明:本文以jdk1.8为主! 搞定HashMap 作为一个Java从业者,面试的时候肯定会被问到过HashMap,因为对于HashMap来说,可以说是Java集合中的精髓了,如果你觉得自己对它掌握的还不够好,我想今天这篇文章会非常适合你,至少,看了今天这篇文章,以后不怕面试被问HashMap了 其实在我学习HashMap的过程中,我个人觉得HashMap还是挺复杂的,如果真的想把它搞得明明白...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试,面试官没想到一个ArrayList,我都能跟他扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
良心推荐,我珍藏的一些Chrome插件
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件,由于支持 Markdown 直接转电子邮...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
Idea 中最常用的10款插件(提高开发效率),一定要学会使用!
学习使用一些插件,可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
木兰编程语言,当事人最新回复来了
同行12年,不知Python是木兰,当事人回应来了
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
那个在阿里养猪的工程师,5年了……
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。 下一个五年,猪圈见! 我就是那个在养猪场里敲代码的工程师,一年多前我和20位工程师去了四川的猪场,出发前总架构师慷慨激昂的说:同学们,中国的养猪产业将因为我们而改变。但到了猪场,发现根本不是那么回事:要个WIFI,没有;...
为什么程序猿都不愿意去外包?
分享外包的组织架构,盈利模式,亲身经历,以及根据一些外包朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助
Java校招入职华为,半年后我跑路了
何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...
世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight...
​两年前不知如何编写代码的我,现在是一名人工智能工程师
全文共3526字,预计学习时长11分钟 图源:Unsplash 经常有小伙伴私信给小芯,我没有编程基础,不会写代码,如何进入AI行业呢?还能赶上AI浪潮吗? 任何时候努力都不算晚。 下面,小芯就给大家讲一个朋友的真实故事,希望能给那些处于迷茫与徘徊中的小伙伴们一丝启发。(下文以第一人称叙述) 图源:Unsplash 正如Elsa所说,职业转换是...
强烈推荐10本程序员必读的书
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。 有些读者私下问我,窝了几天,有点颓丧,能否推荐几本书在家里看看。我花了一天的时间,挑选了 10 本我最喜欢的书,你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力,还可以对未来充满希望,毕竟苦难终将会...
非典逼出了淘宝和京东,新冠病毒能够逼出什么?
loonggg读完需要5分钟速读仅需 2 分钟大家好,我是你们的校长。我知道大家在家里都憋坏了,大家可能相对于封闭在家里“坐月子”,更希望能够早日上班。今天我带着大家换个思路来聊一个问题...
牛逼!一行代码居然能解决这么多曾经困扰我半天的算法题
春节假期这么长,干啥最好?当然是折腾一些算法题了,下面给大家讲几道一行代码就能解决的算法题,当然,我相信这些算法题你都做过,不过就算做过,也是可以看一看滴,毕竟,你当初大概率不是一行代码解决的。 学会了一行代码解决,以后遇到面试官问起的话,就可以装逼了。 一、2 的幂次方 问题描述:判断一个整数 n 是否为 2 的幂次方 对于这道题,常规操作是不断这把这个数除以 2,然后判断是否有余数,直到 ...
Spring框架|JdbcTemplate介绍
文章目录一、JdbcTemplate 概述二、创建对象的源码分析三、JdbcTemplate操作数据库 一、JdbcTemplate 概述 在之前的web学习中,学习了手动封装JDBCtemplate,其好处是通过(sql语句+参数)模板化了编程。而真正的JDBCtemplete类,是Spring框架为我们写好的。 它是 Spring 框架中提供的一个对象,是对原始 Jdbc API 对象的简单...
谁说程序员不懂浪漫——我的C语言结婚请柬(附源码)
前言:但行好事,莫问前程——《增广贤文》 从上学起开始学C++,后面也做过H5,现在做Android。无论是学习用的,还是工作用的,上百个软件不止。但最另我骄傲的是,我用程序烂漫了一把。 用C++语言,利用WIN32框架写一个结婚请柬,文末附源码和使用方法,大家可以自行修改,记得帮我点赞哦。 点开程序,你的电脑像中毒一般,漫天的樱花从屏幕上方,伴随着歌声《今天你要嫁给我》,缓缓落下。 ...
TXT文件导入到数据库 C源码下载
C语言实现TXT文件的东西导出导入到MySQL数据库中!新手使用! 相关下载链接:[url=//download.csdn.net/download/Xiquen/2934963?utm_source=bbsseo]//download.csdn.net/download/Xiquen/2934963?utm_source=bbsseo[/url]
ccasp3.4收费体统下载
易语言外挂收费系统源码,+模块+asp文件 相关下载链接:[url=//download.csdn.net/download/enen4666/3871161?utm_source=bbsseo]//download.csdn.net/download/enen4666/3871161?utm_source=bbsseo[/url]
中文tftp 可以用于dd-wrt 刷新下载
中文tftp 可以用于dd-wrt 刷新 我已经试过,不错哦 相关下载链接:[url=//download.csdn.net/download/zaxzax123/1759805?utm_source=bbsseo]//download.csdn.net/download/zaxzax123/1759805?utm_source=bbsseo[/url]
我们是很有底线的