flume停机问题 [问题点数:50分]

Bbs1
本版专家分:0
结帖率 0%
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
Bbs1
本版专家分:0
flume项目经验
1、Flume内存参数设置及优化 ERROR hdfs.HDFSEventSink: process failed java.lang.OutOfMemoryError: GC overhead limit exceeded (1)在hadoop102服务器的/opt/module/<em>flume</em>/conf/<em>flume</em>-env.sh文件中增加如下配置 export JAVA_OPTS="...
flume采集kafka报错怎么解决
报错信息: Source.java:120)] Event #: 0 2018-11-23 17:59:18,995 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 965 2018-11-23 17:59:18,995 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0 2018-11-23 17:59:19,005 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 975 2018-11-23 17:59:19,005 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0 2018-11-23 17:59:19,015 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 985 2018-11-23 17:59:19,015 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0 2018-11-23 17:59:19,025 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 995 2018-11-23 17:59:19,025 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0 2018-11-23 17:59:19,036 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:119)] Waited: 1006 2018-11-23 17:59:19,036 (PollableSourceRunner-KafkaSource-kaSource) [DEBUG - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:120)] Event #: 0 2018-11-23 17:59:19,036 (PollableSourceRunner-KafkaSource-kaSource) [ERROR - org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:153)] KafkaSource EXCEPTION, {} java.lang.NullPointerException at org.apache.<em>flume</em>.instrumentation.MonitoredCounterGroup.increment(MonitoredCounterGroup.java:261) at org.apache.<em>flume</em>.instrumentation.kafka.KafkaSourceCounter.incrementKafkaEmptyCount(KafkaSourceCounter.java:49) at org.apache.<em>flume</em>.source.kafka.KafkaSource.process(KafkaSource.java:146) at org.apache.<em>flume</em>.source.PollableSourceRunner$PollingRunner.run(PollableSourceRunner.java:139) at java.lang.Thread.run(Thread.java:748) -------------------------------------------- 配置文件 kafkaLogger.sources = kaSource kafkaLogger.channels = memoryChannel kafkaLogger.sinks = kaSink # The channel can be defined as follows. kafkaLogger.sources.kaSource.channels = memoryChannel kafkaLogger.sources.kaSource.type= org.apache.<em>flume</em>.source.kafka.KafkaSource kafkaLogger.sources.kaSource.zookeeperConnect=192.168.130.4:2181,192.168.130.5:2181,192.168.130.6:2181 kafkaLogger.sources.kaSource.topic=dwd-topic kafkaLogger.sources.kaSource.groupId = 0 kafkaLogger.channels.memoryChannel.type=memory kafkaLogger.channels.memoryChannel.capacity = 1000 kafkaLogger.channels.memoryChannel.keep-alive = 60 kafkaLogger.sinks.kaSink.type = elasticsearch kafkaLogger.sinks.kaSink.hostNames = 192.168.130.6:9300 kafkaLogger.sinks.kaSink.indexName = <em>flume</em>_mq_es_d kafkaLogger.sinks.kaSink.indexType = <em>flume</em>_mq_es kafkaLogger.sinks.kaSink.clusterName = zyuc-elasticsearch kafkaLogger.sinks.kaSink.batchSize = 100 kafkaLogger.sinks.kaSink.client = transport kafkaLogger.sinks.kaSink.serializer = com.commons.<em>flume</em>.sink.elasticsearch.CommonElasticSearchIndexRequestBuilderFactory kafkaLogger.sinks.kaSink.serializer.parse = com.commons.log.parser.LogTextParser kafkaLogger.sinks.kaSink.serializer.formatPattern = yyyyMMdd kafkaLogger.sinks.kaSink.serializer.dateFieldName = time kafkaLogger.sinks.kaSink.channel = memoryChannel
Flume定时启动任务 防止挂掉
一,查看Flume条数:ps -ef|grep java|grep <em>flume</em>|wc -l ==》15 检查进程:给sh脚本添加权限,chmod 777 xx.sh #!/bin/sh is_Engine_exist=$(ps -ef|grep java|grep <em>flume</em>|wc -l) if [ $is_Engine_exist -ne 15 ];then ...
Flume常见错误整理(持续更新ing...)
进来看!
启动flume出现ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.flume.
在启动<em>flume</em>的时候出现如下错误   ERROR lifecycle.LifecycleSupervisor: Unable to start SinkRunner: { policy:org.apache.<em>flume</em>.sink.DefaultSinkProcessor@1e3aff56 counterGroup:{ name:null counters:{} } } - Exceptio...
Flume Sink Group
Sink组 为了消除数据处理管道中的单点故障,Flume可以使用负载平衡或故障转移策略,将event发送到不同的sink。sink组是用来创建逻辑上的一组sink。这个组的行为是由sink处理器来决定的,它决定了event的路由策略。 agent.sinkgroups=sg1 名叫”agent”的agent定义了一个sink的组叫sg1. agent.sinkgroups.sg1.sink...
flume启动不起来
求解,<em>flume</em>启动后就一直这样,刚开始是jar包冲突,我移除了一个jar后就变成这样了 一直启动不起来
flume性能调优总结
fllume经常被用在生产环境中收集后端产生的日志。一个<em>flume</em>进程就是一个Agent。要充分发挥<em>flume</em>的性能最主要的是要调好<em>flume</em>的配置参数。 <em>flume</em> agent配置分为三部分:Source, Channel,Sink. Soure用来接收数据源的数据并放到channel里里面。Channel用来缓存Source放入的数据。Sink用来从channel中取出缓存的数据,并写到下个
Flume 各种坑
1. 背景 最近一段时间在做安全大数据分析环境搭建以及初步的数据采集、录入工作,这个过程中用到了 Hadoop+HBase+Flume+Kafka这套大数据分析的工具。在数据分析环境架构中,Flume-1.7.0 主要用来收集各种来源、形式的数据,并把数据传给 Kafka 集群,由 Kafka 集群统一分发给 HBase集群。 用 Flume ,主要用到的 Source 是 spool
flume子进程容易死亡的问题解决以及kafka对单条消息的限制
优化<em>flume</em>: 用<em>flume</em>接受tomcat的日志文件catalina.out,将接受的日志文件发送到kafka主题。问题是<em>flume</em>经常挂,临时解决方法是写脚本自动拉起。 <em>flume</em>主进程不容易挂,容易挂的是子进程,也就是读取tomcat文件的命令所再进程容易挂。 <em>flume</em>配置文件和拉起脚本如下: <em>flume</em>配置文件: # Name the components on this age...
Flume Agent吞吐量优化方法
译自:Scaling a <em>flume</em> agent to handle 120K events_sec – Data Collective – Medium Apache Flume 是一种用来收集大量数据(如日志)的分布式服务。Flume agent 有三个组成部分:source, channel and sink.。简而言之,数据通过Channel从Source到Sink。Source生产数...
(未解决)flume监控目录,抓取文件内容推送给kafka,报错
<em>flume</em>监控目录,抓取文件内容推送给kafka,报错: /export/datas/destFile/220104_YT1013_8c5f13f33c299316c6720cc51f94f7a0_2016101912_318.txt2019-08-06 23:04:31,434 (pool-3-thread-1) [ERROR - org.apache.<em>flume</em>.source.Sp...
Flume1.8安装配置与入门实例
1、下载 http://<em>flume</em>.apache.org/download.html http://mirrors.tuna.tsinghua.edu.cn/apache/<em>flume</em>/1.8.0/apache-<em>flume</em>-1.8.0-bin.tar.gz [root@node1 ~]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/f...
Flume之监控
Flume作为一个日志收集工具,在数据采集方面,展现出了非常强大的能力。
Flume 1.5.2 日志中出现agent-shutdown-hook ,然后结束进程
Flume 1.5.2 日志中出现agent-shutdown-hook ,然后结束进程,原因查找及源码分析,目前还没有完全弄懂,希望高手指点!
cloudera supervisord
servervice cloudera-scm-agent stop ps -ef | grep supervisord kill -9 pid servervice cloudera-scm-agent start
分别用Push方式与Pull方式整合Flume与Spark Streaming
1.架构 2.Flume配置 在$Flume_HOME/conf下新建配置文件:<em>flume</em>_push_streaming.conf 配置思路如下: source选择netcat,配置好主机名与端口 sink选择avro,配置好主机名与端口 channel选择memory 将source与channel连起来 将sink与channel连起来 simple-agent.sour...
flume配置好后,执行到一定的时候不执行了,停留在一个地方
-1.1.jar:/opt/hbase/lib/phoenix-server-4.7.0-HBase-1.1-runnable.jar:/opt/hbase/lib/phoenix-server-4.7.0-HBase-1.1-sources.jar:/opt/hbase/lib/phoenix-server-4.7.0-HBase-1.1-tests.jar:/opt/hbase/lib/phoenix-server-client-4.7.0-HBase-1.1.jar:/opt/hbase/lib/phoenix-server-client-4.7.0-HBase-1.1-sources.jar:/opt/hbase/lib/phoenix-server-client-4.7.0-HBase-1.1-tests.jar:/opt/hbase/lib/phoenix-spark-4.7.0-HBase-1.1.jar:/opt/hbase/lib/phoenix-spark-4.7.0-HBase-1.1-sources.jar:/opt/hbase/lib/phoenix-spark-4.7.0-HBase-1.1-tests.jar:/opt/hbase/lib/phoenix-tracing-webapp-4.7.0-HBase-1.1.jar:/opt/hbase/lib/phoenix-tracing-webapp-4.7.0-HBase-1.1-runnable.jar:/opt/hbase/lib/phoenix-tracing-webapp-4.7.0-HBase-1.1-sources.jar:/opt/hbase/lib/phoenix-tracing-webapp-4.7.0-HBase-1.1-tests.jar:/opt/hbase/lib/protobuf-java-2.5.0.jar:/opt/hbase/lib/servlet-api-2.5-6.1.14.jar:/opt/hbase/lib/servlet-api-2.5.jar:/opt/hbase/lib/snappy-java-1.0.4.1.jar:/opt/hbase/lib/spymemcached-2.11.6.jar:/opt/hbase/lib/xalan-2.7.0.jar:/opt/hbase/lib/xml-apis-1.3.03.jar:/opt/hbase/lib/xml-apis-ext-1.3.04.jar:/opt/hbase/lib/xmlenc-0.52.jar:/opt/hbase/lib/xom-1.2.5.jar:/opt/hbase/lib/xz-1.0.jar:/opt/hbase/lib/zookeeper-3.4.6.jar:/conf:/lib/*' -Djava.library.path=:/opt/hadoop/lib/native:/opt/hadoop/lib/native org.apache.<em>flume</em>.node.Application -f conf/example.conf --name a1 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/<em>flume</em>/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/opt/hbase/lib/phoenix-4.7.0-HBase-1.1-client.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. 就是停留在这里不往下面去执行了
flume file channel 异常解决
2016-04-21 05:40:51,393 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.<em>flume</em>.SinkRunner$PollingRunner.run(SinkRunner.java:160)] Unable to deliver event. Exception follows. java.la...
Flume相关总结
1)Flume组成,Put事务,Take事务 Taildir Source:断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置,实现断点续传。 File Channel:数据存储在磁盘,宕机数据可以保存。但是传输速率慢。适合对数据传输可靠性要求高的场景,比如,金融行业。 Memory Channel:数据存储在内存中...
Flume-ng日志采集 安装 及部署 排错
1.安装,参考官方文档 https://ccp.cloudera.com/display/CDH4DOC/Flume+Installation 2.配置文档 conf/<em>flume</em>-ng.conf: agent1.sources = log01 agent1.sinks = hdfs01 agent1.channels = momery01 agent1.sources.log01
Flume输出到hive错误
当Flume的sink设置为hive时,执行代码,出现以下问题18/03/19 20:08:09 ERROR node.PollingPropertiesFileConfigurationProvider: Failed to start agent because dependencies were not found in classpath. Error follows. java.lang...
使用flume中遇见的问题整理
先发一下牢骚: 这玩意真恶心遇见个问题都搜不到。。。。 要么就是英文的,比啃牛皮还难受。 所以写一个汇集, 要是大家有新问题或者别的解决方法,有什么不对的地方,尽情留言拍砖,大家共同学习进步 1 开发的jar包 是取得 <em>flume</em>安装目录下的lib内的所有   2 提示log4j WARN    解决方法:在src下补充log4j.properties 文件   3
flume和kafka合成报错ERROR - org.apache.flume.lifecycle.LifecycleSupervisor$MonitorRunnable.run(LifecycleS
0.环境: <em>flume</em>1.6.0和kafka_2.10-0.8.2.1   1.问题描述: <em>flume</em>和kafka集成,<em>flume</em>输出到kafka: (1)<em>flume</em>配置文件: agent1.sources=avro-source agent1.channels=logger-channel agent1.sinks=kafka-sink #define source agent1...
Flume-ng Exec “丢数据”
在解决了Flume-HDFS“丢数据”的问题后还听到抱怨说Flume还丢数据,如果说数据重复是可以理解的,我一直不理解为什么还丢呢? 今天同事发现在agent端日志里一段异常: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 20Nov201310:15:54,231ERROR [pool-10...
flume的avro配置的问题
我的疑问是端口8888是怎么来的,启动后为什么会报错,会avro方式配置的 麻烦留个qq,谢谢 以下是我的其中一种配置 ############# agent1057.sources.searchSt
停机问题的误解
问题 <em>停机问题</em>(Halting problem):是否存在这样一个程序,他能判断任意程序在输入确定的情况下是否为死循环。 可以用 while(true) 表示死循环,构造例子如下: 判断(输入) { if (输入 是死循环) return 死循环 else return 停机 } 假设有两个程序: A() { return; } B() { while(true); } 那么...
kafka接flume遇到的问题
同事遇到点问题,抛出来了4个问题,如下 1  <em>flume</em>的source是kafka,sink是hdfs,怎样判断<em>flume</em>是否堆积,或者是说怎么样保证落地的速度和消费的速度是平衡的 2  怎么判断<em>flume</em>的agent程序是否挂掉 3  挂掉时tmp文件爱呢怎么处理(hdfs上的tmp文件) 4  我遇到一个问题,当agent是6个时,一小时约生成26.5G文件,当有3个agent时,一小
单个flume agent实践上线后宕机过程记录
一 单节点<em>flume</em>部署 1 hadoop准备 在hdfs中创建<em>flume</em>目录,并将<em>flume</em>目录的权限分配给<em>flume</em>用户 hdfs dfs -mkdir <em>flume</em> hdfs dfs -chown -R <em>flume</em>:<em>flume</em> /<em>flume</em> 2 <em>flume</em>-env.sh 进入${FLUME_HOME}/confcp <em>flume</em>-env.sh.template <em>flume</em>-env.
停机问题
<em>停机问题</em> <em>停机问题</em>(halting problem)是逻辑数学中可计算性理论的一个问题。通俗的说,<em>停机问题</em>就是判断任意一个程序是否会在有限的时间之内结束运行的问题。如果这个问题可以在有限的时间之内解决,那么就可以有一个程序判断其本身是否会停机。但是,在程序停止之前,没有办法判断它会不会停止。所以这是一个不可解的问题。 艾伦·图灵在1936年证明了,一个可以解决<em>停机问题</em>的通用算法是不
Flume1.4学习问题记录
1、red hat9 上安装 <em>flume</em>-1.4.0 ,配置好环境变量:
Flume-ng-1.4.0安装及运行遇到问题总结
1、到官方网上下载apache-<em>flume</em>-1.4.0-bin.tar.gz
Flume学习12_Flume Spooling directory source读取文件格式的要求
把Flume的Source设置为 Spooling directory source,在设定的目录下放置需要读取的文件,一些文件在读取过程中会报错。 文件格式和报错如下: 实验一 读取汉子和“;"符号的TXT文档 会报一下错误 2015-11-06 22:16:02,386 (pool-3-thread-1) [ERROR - org.apache.<em>flume</em>.source.
按crtl+c后flume停止了,让Flumen运行在后端的方法
一般我们启动<em>flume</em>后,控制无法进行任何操作按crtl+c是可以结束控制台无法操作的问题,但是同时会停止<em>flume</em>的服务,控制台会有如下的打印信息: 2016-04-26 05:06:09,642 (agent-shutdown-hook) [INFO - org.apache.<em>flume</em>.source.NetcatSource.stop(NetcatSource.java:190)] Sou
开发日常小结(21): 解决flume经常被系统挂起的问题 -- 开启守护线程
时间:2018年6月20日12:05:57 【前言】 <em>flume</em>的介绍可以参考前面:《<em>flume</em>(1):三个内置基本组件:channel、source、sink》; 【bug】 系统的<em>flume</em>线程启动后,常常运行一段时间后被系统挂起; 原来的启动脚本: eg: bin/<em>flume</em>-ng agent –conf ./conf/ -f conf/simple-agent.proper...
flume启动No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor)
<em>flume</em> 安装成功后启动可能会遇到如下异常。问题:log4j:WARN No appenders could be found for logger (org.apache.<em>flume</em>.lifecycle.LifecycleSupervisor). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http
停机问题的理解
<em>停机问题</em>(halting problem)是逻辑数学中可计算性理论的一个问题。通俗的说,<em>停机问题</em>就是判断任意一个程序是否会在有限的时间之内结束运行的问题。该问题等价于如下的判定问题:给定一个程序和输入, 程序在输入下是否能够最终停止。
Halting problem(停机问题)
1.Introduction In computability theory, the halting problem is the problem of determining, from a description of an arbitrary computer program and an input, whether the program will finish running or
不可解问题[停机问题]
反证法(归谬法):先假设命题的否定形式成立,然后再进行推理,引出矛盾。 矛盾:命题P和它的否定形式非P都成。 examples:证明不存在最大的整数、质数是无穷的。 可数(countable/enumerable):集合的元素是有限的,或者集合中的所有元素都与正整数一一对应(即元素可一一列出)。 可数集合examples: 1)有限集合是可数的; 2)0以上的所有偶数的集合是可数的...
hadoop集群负载高导致的flume问题
<em>flume</em>->hdfs source是tail、channel是memory、sink是hdfs <em>flume</em>端报错: 2015-01-29 01:55:58,424 (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - org.apache.<em>flume</em>.sink.hdfs.BucketWriter.append(BucketWr
flume sink hdfs异常
1、异常消息如下: 016-08-26 14:19:17,704 (hdfs-sink1-call-runner-2) [ERROR - org.apache.<em>flume</em>.sink.hdfs.AbstractHDFSWriter.hflushOrSync(AbstractHDFSWriter.java:267)] Error while trying to hflushOrSync! 2016-
Flume 1.7.0安装与实例
Flume 1.7.0安装与实例
Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题
转载:lxw的大数据田地 » Flume中同时使用Kafka Source和Kafka Sink的Topic覆盖问题 如果在一个Flume Agent中同时使用Kafka Source和Kafka Sink来处理events,便会遇到Kafka Topic覆盖问题,具体表现为,Kafka Source可以正常从指定的Topic中读取数据,但在Kafka Sink中配置的目标T
Flume使用大全之kafka source-kafka channel-hdfs
agent.sources = kafkaSource1 agent.channels = kafkaChannel agent.sinks = hdfsSink agent.sources.kafkaSource1.channels = kafkaChannel agent.sinks.hdfsSink.channel = kafkaChannel agent.sour
flume使用(一):入门demo
注:windows的<em>flume</em>安装运行传送门:windows上安装运行<em>flume</em>环境Centos7+jdk7+<em>flume</em>1.7+telnet客户端注:最新版<em>flume</em>1.8需要jdk1.8支持安装jdk的安装不多赘述,<em>flume</em>1.7的安装。进入官网:http://<em>flume</em>.apache.org/ 然后找到1.7版本下载放到centos系统解压即可根据官方文档quickStart解压文件中打开d...
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
小白学 Python 爬虫(25):爬取股票信息
人生苦短,我用 Python 前文传送门: 小白学 Python 爬虫(1):开篇 小白学 Python 爬虫(2):前置准备(一)基本类库的安装 小白学 Python 爬虫(3):前置准备(二)Linux基础入门 小白学 Python 爬虫(4):前置准备(三)Docker基础入门 小白学 Python 爬虫(5):前置准备(四)数据库基础 小白学 Python 爬虫(6):前置准备(...
卸载 x 雷某度!GitHub 标星 1.5w+,从此我只用这款全能高速下载工具!
作者 | Rocky0429 来源 | Python空间 大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网盘资源等等等等,下个资源可真不容易,不一样的方式要用不同的下载软件,因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼,某度网盘几十 kb 的下载速度让我...
世界上最牛的网络设备,价格低廉,其貌不扬......
夜深人静,电视和电脑都已经关机休息,但是我还在默默工作,我安静地趴在你家中的某个地方,7*24小时不眠不休,任劳任怨,目的只有一个,能让你舒服地躺在床上,畅快地刷手机!没错,这就是我,...
《面试宝典》2019年springmvc面试高频题(java)
前言 2019即将过去,伴随我们即将迎来的又是新的一年,过完春节,马上又要迎来新的金三银四面试季。那么,作为程序猿的你,是否真的有所准备的呢,亦或是安于本职工作,继续做好手头上的事情。 当然,不论选择如何,假如你真的准备在之后的金三银四跳槽的话,那么作为一个Java工程师,就不可不看了。如何在几个月的时间里,快速的为即将到来的面试进行充分的准备呢? 1、什么是Spring MVC ?简单...
一名大专同学的四个问题
【前言】   收到一封来信,赶上各种事情拖了几日,利用今天要放下工作的时机,做个回复。   2020年到了,就以这一封信,作为开年标志吧。 【正文】   您好,我是一名现在有很多困惑的大二学生。有一些问题想要向您请教。   先说一下我的基本情况,高考失利,不想复读,来到广州一所大专读计算机应用技术专业。学校是偏艺术类的,计算机专业没有实验室更不用说工作室了。而且学校的学风也不好。但我很想在计算机领...
复习一周,京东+百度一面,不小心都拿了Offer
京东和百度一面都问了啥,面试官百般刁难,可惜我全会。
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API ...
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年数据比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
python爬取百部电影数据,我分析出了一个残酷的真相
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%;国产电影总票房411.75亿元,同比增长8.65%,市场占比 64.07%;城市院线观影人次17.27亿,同比增长0.64%。 看上去似乎是一片大好对不对?不过作为一名严谨求实的数据分析师,我从官方数据中看出了一点端倪:国产票房增幅都已经高达8.65%了,为什...
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试一个ArrayList我都能跟面试官扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
2020年1月中国编程语言排行榜,python是2019增长最快编程语言
编程语言比例 排名 编程语言 最低工资 工资中位数 最低工资 最高工资 人头 人头百分比 1 rust 20713 17500 5042 46250 480 0.14% 2 typescript 18503 22500 6000 30000 1821 0.52% 3 lua 18150 17500 5250 35000 2956 0.84% 4 go 17989 16...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
Idea 中最常用的10款插件(提高开发效率),一定要学会使用!
学习使用一些插件,可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
工作十年的数据分析师被炒,没有方向,你根本躲不过中年危机
2020年刚刚开始,就意味着离职潮高峰的到来,我身边就有不少人拿着年终奖离职了,而最让我感到意外的,是一位工作十年的数据分析师也离职了,不同于别人的主动辞职,他是被公司炒掉的。 很多人都说数据分析是个好饭碗,工作不累薪资高、入门简单又好学。然而今年34的他,却真正尝到了中年危机的滋味,平时也有不少人都会私信问我: 数据分析师也有中年危机吗?跟程序员一样是吃青春饭的吗?该怎么保证自己不被公司淘汰...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一文带你看清 HTTP 所有概念
上一篇文章我们大致讲解了一下 HTTP 的基本特征和使用,大家反响很不错,那么本篇文章我们就来深究一下 HTTP 的特性。我们接着上篇文章没有说完的 HTTP 标头继续来介绍(此篇文章会介绍所有标头的概念,但没有深入底层) HTTP 标头 先来回顾一下 HTTP1.1 标头都有哪几种 HTTP 1.1 的标头主要分为四种,通用标头、实体标头、请求标头、响应标头,现在我们来对这几种标头进行介绍 通用...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
【蘑菇街技术部年会】程序员与女神共舞,鼻血再次没止住。(文末内推)
蘑菇街技术部的年会,别开生面,一样全是美女。
那个在阿里养猪的工程师,5年了……
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。 下一个五年,猪圈见! 我就是那个在养猪场里敲代码的工程师,一年多前我和20位工程师去了四川的猪场,出发前总架构师慷慨激昂的说:同学们,中国的养猪产业将因为我们而改变。但到了猪场,发现根本不是那么回事:要个WIFI,没有;...
为什么程序猿都不愿意去外包?
分享外包的组织架构,盈利模式,亲身经历,以及根据一些外包朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助
Java校招入职华为,半年后我跑路了
何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...
世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight...
Python全栈 Linux基础之3.Linux常用命令
Linux对文件(包括目录)有很多常用命令,可以加快开发效率:ls是列出当前目录下的文件列表,选项有-a、-l、-h,还可以使用通配符;c功能是跳转目录,可以使用相对路径和绝对路径;mkdir命令创建一个新的目录,有-p选项,rm删除文件或目录,有-f、-r选项;cp用于复制文件,有-i、-r选项,tree命令可以将目录结构显示出来(树状显示),有-d选项,mv用来移动文件/目录,有-i选项;cat查看文件内容,more分屏显示文件内容,grep搜索内容;>、>>将执行结果重定向到一个文件;|用于管道输出。
​两年前不知如何编写代码的我,现在是一名人工智能工程师
全文共3526字,预计学习时长11分钟 图源:Unsplash 经常有小伙伴私信给小芯,我没有编程基础,不会写代码,如何进入AI行业呢?还能赶上AI浪潮吗? 任何时候努力都不算晚。 下面,小芯就给大家讲一个朋友的真实故事,希望能给那些处于迷茫与徘徊中的小伙伴们一丝启发。(下文以第一人称叙述) 图源:Unsplash 正如Elsa所说,职业转换是...
强烈推荐10本程序员必读的书
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。 有些读者私下问我,窝了几天,有点颓丧,能否推荐几本书在家里看看。我花了一天的时间,挑选了 10 本我最喜欢的书,你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力,还可以对未来充满希望,毕竟苦难终将会...
作为一个程序员,内存的这些硬核知识你必须懂!
我们之前讲过CPU,也说了CPU和内存的那点事儿,今天咱就再来说说有关内存,作为一个程序员,你必须要懂的哪那些硬核知识! 大白话聊一聊,很重要! 先来大白话的跟大家聊一聊,我们这里说的内存啊,其实就是说的我们电脑里面的内存条,所以嘞,内存就是内存条,数据要放在这上面才能被cpu读取从而做运算,还有硬盘,就是电脑中的C盘啥的,一个程序需要运行的话需要向内存申请一块独立的内存空间,这个程序本身是存放在...
非典逼出了淘宝和京东,新冠病毒能够逼出什么?
loonggg读完需要5分钟速读仅需 2 分钟大家好,我是你们的校长。我知道大家在家里都憋坏了,大家可能相对于封闭在家里“坐月子”,更希望能够早日上班。今天我带着大家换个思路来聊一个问题...
Spring框架|JdbcTemplate介绍
文章目录一、JdbcTemplate 概述二、创建对象的源码分析三、JdbcTemplate操作数据库 一、JdbcTemplate 概述 在之前的web学习中,学习了手动封装JDBCtemplate,其好处是通过(sql语句+参数)模板化了编程。而真正的JDBCtemplete类,是Spring框架为我们写好的。 它是 Spring 框架中提供的一个对象,是对原始 Jdbc API 对象的简单...
2020年2月中国编程语言排行榜
编程语言比例 排名 编程语言 最低工资 工资中位数 最低工资 最高工资 人头 人头百分比 1 rust 21433 20000 5266 45000 369 0.11% 2 typescript 18727 22500 6500 30000 1841 0.57% 3 go 18292 16000 6175 40000 23860 7.35% 4 lua 18219 1...
为什么说程序员做外包没前途?
之前做过不到3个月的外包,2020的第一天就被释放了,2019年还剩1天,我从外包公司离职了。我就谈谈我个人的看法吧。首先我们定义一下什么是有前途 稳定的工作环境 不错的收入 能够在项目中不断提升自己的技能(ps:非技术上的认知也算) 找下家的时候能找到一份工资更高的工作 如果你目前还年轻,但高不成低不就,只有外包offer,那请往下看。 外包公司你应该...
终于!疫情之下,第一批企业没能熬住面临倒闭,员工被遣散,没能等来春暖花开!
先来看一个图: 这个春节,我同所有人一样,不仅密切关注这次新型肺炎,还同时关注行业趋势和企业。在家憋了半个月,我选择给自己看书充电。因为在疫情之后,行业竞争会更加加剧,必须做好未雨绸缪,时刻保持充电。 看了今年的情况,突然想到大佬往年经典语录: 马云:未来无业可就,无工可打,无商可务 李彦宏:人工智能时代,有些专业将被淘汰,还没毕业就失业 马化腾:未来3年将大洗牌,迎21世界以来最大失业潮 王...
昂,我24岁了
24岁的程序员,还在未来迷茫,不知道能不能买得起房子
C++设计模式下载
C++开发技术有配套的源代码,因为空间原因无法上传上去,有想学习设计模式的朋友可以下载。 相关下载链接:[url=//download.csdn.net/download/u011418878/9329179?utm_source=bbsseo]//download.csdn.net/download/u011418878/9329179?utm_source=bbsseo[/url]
嵌入式实时操作系统uC/OS-II配套光盘下载
嵌入式实时操作系统uC/OS-II配套光盘 相关下载链接:[url=//download.csdn.net/download/vc_learner/455546?utm_source=bbsseo]//download.csdn.net/download/vc_learner/455546?utm_source=bbsseo[/url]
Asp.net制作简单网站教程下载
一些简单制作网站的实例,只做了大概二十页幻灯片,图文并茂,希望大家分享 相关下载链接:[url=//download.csdn.net/download/wuqing19890805/2764957?utm_source=bbsseo]//download.csdn.net/download/wuqing19890805/2764957?utm_source=bbsseo[/url]
我们是很有底线的