TCP丢包和异常断开。 [问题点数:180分,结帖人mastersky]

一键查看最优答案

确认一键查看最优答案?
本功能为VIP专享,开通VIP获取答案速率将提升10倍哦!
Bbs5
本版专家分:4847
结帖率 100%
Bbs8
本版专家分:31973
Blank
红花 2003年8月 Delphi大版内专家分月排行榜第一
Blank
黄花 2003年7月 Delphi大版内专家分月排行榜第二
TCPTCP通信丢包原因总结
一、前文 今天在公司问老大,公司的项目底层,是使用的<em>TCP</em>,因为可靠,自动断线重连,在底层都实现了,但是我记得<em>TCP</em>也会有掉包的问题,所以这文章就诞生了——关于<em>TCP</em>掉包的问题,<em>TCP</em>是基于不可靠的网络实现可靠的传输,肯定也会存在掉包的情况。     如果通信中发现缺少数据或者<em>丢包</em>,那么,最大的可能在于程序发送的过程或者接收的过程出现问题。     例如服务器给客户端发大量数据,Send的...
TCP通信,为何会丢包那么严重????
我做了个简单的 <em>TCP</em>程序,但发现<em>丢包</em>很严重,代码如下:用Client端发送数据, 两个包之间如何Sleep()小于300ms都会<em>丢包</em>(在两台pc运行是这样,如何在同一台pc,sleep() 50ms
求指点TCP通信丢包的原因
做了一个C/S结构的程序, 客户端连接到服务器查询数据,使用WINSOCK2做<em>TCP</em>协议的通信,采用IOCP模式 客户端查询数据,当查询的结果数据达到几百或者几千个数据包(每个包最大长度<1500)的
TCP丢包
如果通信中发现缺少数据或者<em>丢包</em>,那么,最大的可能在于程序发送的过程或者接收的过程出现问题。 例如服务器给客户端发大量数据,Send的频率很高,那么就有可能在Send时发生错误(原因可能是又多种,可能是程序处理逻辑问题,多线程同步问题,缓冲区溢出问题等等),如果没有对Send失败做处理重发数据,那么客户端收到的数据就会比理论应该收到的少,就会造成丢数据,<em>丢包</em>的现象。 这种现象,其实本质上来说不是
TCP传输协议中如何解决丢包问题
<em>TCP</em>在不可靠的网络上实现可靠的传输,必然会有<em>丢包</em>。<em>TCP</em>是一个“流”协议,一个详细的包将会被<em>TCP</em>拆分为好几个包上传,也是将会把小的封裝成大的上传,这就是说<em>TCP</em>粘包和拆包难题。 但是许多人有不同的理解。<em>TCP</em>协议本身确保传输的数据不会丢失完整性。如果在传输过程中发现数据丢失或数据包丢失,最大的可能性是在发送或接收程序的过程中出现问题。 例如,服务器向客户端发送大量数据,并且发送频率...
太诡异了,居然TCP也会丢包啊~~哪位牛人来解释一下!
在写一个客户端,通过<em>TCP</em>协议实时接收远程的视频录播服务器传来的视频流。今天把图像调出来了,但是断断续续的,不很流畅。统计了下结果,<em>丢包</em>率大约在15%左右。 客户端用TClientSocket接收的,
在tcp连接的三次握手中最后一次中丢包
在tcp三次握手中 第二次握手完成后connect 就成功返回了 如果第三次握手的ack包丢了 此时 客户端已认为连接是成功的 如果没有应用层的心跳包 客户端会一直维护这个连接 请问如何避免这种情况? 服务器收到SYN包后发出SYN+ACK数据包,服务器进入SYN_RECV状态。 而这个时候客户端发送ACK给服务器失败了,服务器没办法进入ESTABLISH状态,这个时候肯定不能传输
使用TCP协议连续传输大量数据时,是否会丢包,应如何避免
使用<em>TCP</em>协议连续传输大量数据时,是否会<em>丢包</em>,应如何避免   使用<em>TCP</em>协议连续传输大量数据时,是否会<em>丢包</em>,应如何避免?   比如发送文件。记得有人提过可能会发生什么堆栈溢出。怎样避免呢?是不是可以收到数据后发送确认包,收到确认包后再继续发送。或是发送方发送了一些数据后sleep一下。   还有,我们都知道,使用UDP协议发送包时需要确认,但<em>TCP</em>协议时面向连接的可靠传输,是不是发
TCP如何解决乱序和丢包问题,描述一下三次握手
<em>TCP</em>数据包的头格式中有两个概念,Sequence Number是数据包的序号,用来解决网络包乱序(reordering)问题。Acknowledgement Number就是ACK——用于确认收到,用来解决不<em>丢包</em>的问题。 位码即tcp标志位,有6种标示:SYN(synchronous建立联机)  ACK(acknowledgement 确认) PSH(push传送) FIN(finish
delphi做了个TCP/IP通讯,向客户端发送数据的问题?
<em>TCP</em>/IP通讯,向客户端发送数据的问题 服务器端的IP和端口已知道,现在客户端向服务器端发一个数据包,服务器端立即向客户端发送一个数据包。 问题是:在客户端没有提供IP和端口的情况下,服务器端如何向
如何清空socket缓存区的数据
当客户端向服务端发出命令后,在规定的超时时间里未收到回答便退出了.而第二次发命令时,读到的是第一次返回的数据.所以想在发命令前把输入缓存区清空.请问如何清空socket缓存区的数据?VC里有现成的函数
TCP的缓冲区满了,发送方还要发送数据,会出现什么后果?
如果<em>TCP</em>的发送方是快机,接收方是慢机,经常会出现发送方的缓冲区满的情况,这时候发送方再发送数据,会出现什么后果?
求解为什么部分电脑TCP与服务器连接老是断开(1分钟断开一次)
--------------------------------------------------------- 可以连接并且发送登陆数据包,如上图登陆成功。 ------------------
TCP协议——顺序问题、丢包问题、流量控制、拥塞控制
    出了网关,那就是在公网上传输数据,公网往往是不可靠的,因而需要很多的机制去保证传输的可靠性,这里面需要恒心,也即各种重传的策略,还需要有智慧,这里面包含着大量的算法。     网络协议上,就是客户端每发送的一个包,服务器端都应该有个回复,如果服务器端超过一定的时间没有回复,客户端就会重新发送这个包,直到有回复。 实现协议的可靠性     <em>TCP</em> 协议为了保证顺序性,每一个包都有一...
异步TCP Sokcet丢包的问题
现在在做的项目用到了异步Socket,采用<em>TCP</em> 自己定义了一个结构体进行数据的封装和传输(这里简称 MyStr吧,目前大小是275字节) 服务器端程序有一个客户端Socket的列表(ClientLi
TCP丢包测试
为什么80%的码农都做不了架构师?&gt;&gt;&gt; ...
TCP的那些事儿(上)
<em>TCP</em>是一个巨复杂的协议,因为他要解决很多问题,而这些问题又带出了很多子问题和阴暗面。所以学习<em>TCP</em>本身是个比较痛苦的过程,但对于学习的过程却能让人有很多收获。关于<em>TCP</em>这个协议的细节,我还是推荐你去看W.Richard Stevens的《<em>TCP</em>/IP 详解 卷1:协议》(当然,你也可以去读一下RFC793以及后面N多的RFC)。另外,本文我会使用英文术语,这样方便你通过这些英文关键词来查找相
如何统计TCP丢包率?
目前用winpcap实现了<em>TCP</em>的数据率统计,下一步还要统计出<em>TCP</em>的<em>丢包</em>率,请问各位大神们,应该怎么统计呀? <em>TCP</em>不是可靠传输吗,怎么<em>丢包</em>啊~~~~~~ PS:我是用C写的windows程序,就是
从一起丢包故障来谈谈 nginx 中的 tcp keep-alive
一、故障 基本架构如图所示,客户端发起 http 请求给 nginx,nginx 转发请求给网关,网关再转发请求到后端微服务。 故障现象是,每隔十几分钟或者几个小时不等,客户端就会得到一个或者连续多个请求超时错误。查看 nginx 日志,对应请求返回 499;查看网关日志,没有收到对应的请求。 从日志分析,问题应该处在 nginx 或者 spring-cloud-gateway 上。 nginx...
有关TCP应用层超时重发的问题
目前使用<em>TCP</em>在服务端和客户端已建立一个连接,服务端发送一个数据包A给客户端,然后设置了一个1秒的超时; 假设在客户端接收到A之前,已经超时,那么此时服务端会再次发送A; 请问此后客户端有没有可能2次
Wireshark tcptrace图关于丢包重传细节图解
上周六写了《在Wireshark的tcptrace图中看清<em>TCP</em>拥塞控制算法的细节(CUBIC/BBR算法为例)》,收到一封邮件,说我文中的图示画错了。        确实,关于CUBIC,我只说了缠绕,关于BBR我只说了顺延,并没有说具体如何,甚至我没有提一嘴关于重传的细节,更别说在图示里展现了。这是我的错。话不能说一半,因此才写下本文,把另一半也写出来。        炒股的人喜欢看K线,并且
Tcp连接怎么也会丢包
用GCDAsyncSocket做一个tcp通信,接收一个8000多字节的包,发现每次都只能接收1448字节,后面的包就再也收不到了。请教各位大神,是我漏做了什么?
为什么TCP在高时延和丢包的网络中传输效率差?
说明:有同学私信问到,为什么<em>TCP</em>在高时延和<em>丢包</em>的网络中传输效率差? Google可以搜到很多的信息,这里转译了部分IBM Aspera fasp技术白皮书的第一章节内容,作为参考。 在这个数字世界中,数字数据的快速和可靠移动,包括全球范围内的大规模数据传送,对于几乎所有行业的业务成功都变得至关重要。 然而,传统的<em>TCP</em>协议具有固有的性能瓶颈,特别是对于...
TCP通信丢包原因总结
今天在公司问老大,公司的项目底层,是使用的<em>TCP</em>,因为可靠,自动断线重连,在底层都实现了,但是我记得<em>TCP</em>也会有掉包的问题,所以这文章就诞生了——关于<em>TCP</em>掉包的问题,<em>TCP</em>是基于不可靠的网络实现可靠的传输,肯定也会存在掉包的情况。 如果通信中发现缺少数据或者<em>丢包</em>,那么,最大的可能在于程序发送的过程或者接收的过程出现问题。 例如服务器给客户端发大量数据,Send的频率很高...
TCP和服务器断开连接后重连怎么处理
和服务器连接有时会断线 断线之后不知道怎么施放原来的socket 这是我的初始化 void CPVZNetMsgMng::NetStartNet() { //初始化环境 WSADATA WsaData
TCP协议通讯流程
服务器调用socket()、bind()、listen()完成初始化后,调用accept()阻塞等待,处于监听端口的状态,客户端调用socket()初始化后,调用connect()发出SYN段并阻塞等待服务器应答,服务器应答一个SYN-ACK段,客户端收到后从connect()返回,同时应答一个ACK段,服务器收到后从accept()返回。 数据传输的过程: 建立连接后,<em>TCP</em>协议提供全双
TCP的乱序和丢包判断(附Reordering更新算法)-理论
又到了周末,生物钟准时在午夜让我恍惊起而长嗟,一想到<em>TCP</em>,恍如昨日,也不知怎么就千里迢迢之后心依旧茫然,算是拾起来的东西吧,就坐下来再写点关于<em>TCP</em>的东西。由于最近在追《龙珠超》,也是很想写点关于龙珠的随笔,也只能等到明天我被我的偶像弗利萨(目标明确,干净利索,毫不犹豫,越挫越勇,屡战屡败,屡败屡战,心狠手辣,特立独行,孤独但不寂寞)拍醒的时候吧。乱序和<em>丢包</em><em>TCP</em>的数据包是严格按照序列号递增的顺序
为何TCP发包就不存在丢包和乱序? 而UDP发包就有,难道就只有Tcp有重传机制,udp就没有?
如果说tcp有自动重排机制,那么udp如果乱序了,怎么处理?如果有具体算法最好了~,对这块概念很模糊……
关于tcp乱序丢包的解决方法
大侠们好,最近因3G项目开发,先在有线局域网中调试tcp协议多次传输图片时,接收端显示有<em>丢包</em>想现象, 我的是单线程方式, 一时未找到有效解决方法,请大侠们指点下,给分, 谢谢!
关于socket TCP丢包
求助一个关于socket tcp消息丢失的问题: 服务器和客户端消息处理通过消息队列,结构体消息通过boost序列化,再和消息ID 长度等信息构造成智能指针对象。将该对象放到发送消息队列。发送消息线程
关于C#网络丢包情况的处理
目前在用SocketAsyncEventArgs这个进行<em>TCP</em>测试,我想问下,如果出现<em>丢包</em>的情况,是系统或者是网络硬件直接处理<em>丢包</em>的问题(自动重发) 还是需要自己在C#代码里处理<em>丢包</em>的问题? 操作系统
请问应用层协议的解析需不需要考虑TCP丢包的情况?
大家好,最近在做网络通信的时候碰到这个问题,请教一下各位。 我在标题中提到的<em>丢包</em>是指,发送了A包+B包+C包(简写为ABC,后面都用字母表示),然后接收时,只收到了AC。我想到了两种情况: 1.如果接
tcpdump丢包问题分析
问题 在linux系统上,使用tcpdump抓包有时候会出现“<em>丢包</em>”现象,如抓包结束之后会提示: 以上提示filter总共收到了8484个数据包,其中内核丢弃了1051个,剩下的7433个数据包交给了对应网络接口LTE_MAC0。 分析 在抓包结束之后,提示信息中的“received by filter”和“dropped by kernel”的计数由内核维护,“c
TCP通信丢包主要问题及具体问题分析
今天在公司问老大,公司的项目底层,是使用的<em>TCP</em>,因为可靠,自动断线重连,在底层都实现了,但是我记得<em>TCP</em>也会有掉包的问题,所以这文章就诞生了——关于<em>TCP</em>掉包的问题,<em>TCP</em>是基于不可靠的网络实现可靠的传输,肯定也会存在掉包的情况。     如果通信中发现缺少数据或者<em>丢包</em>,那么,最大的可能在于程序发送的过程或者接收的过程出现问题。     例如服务器给客户端发大量数据,Send的频率很高,
TCP的乱序和丢包判断(附Reordering更新算法)-实例case
写前一篇文章<em>TCP</em>的乱序和<em>丢包</em>判断(附Reordering更新算法)-理论的时候,我觉得我在一边拉一边吃,玩的都是排泄物,言之无味,不知所云,我想把一些能看得见摸得着的东西独立出来,就成了本文,如果有一天我忘掉了<em>TCP</em>的细节,我想我直接把本文的例子跑一遍,应该就能拾起个大概了。声明本文完全旨在解释上一篇文章里那些枯燥的理论,我实在是觉得自己文字功底差,一直以来都倾向于用例子来给出解释。花了点时间整理
TCP粘包,拆包及解决方法、丢包的原因及解决办法
参考此博客https://blog.insanecoder.top/tcp-packet-splice-and-split-issue/ 粘包、拆包发生原因 发生<em>TCP</em>粘包或拆包有很多原因,现列出常见的几点,可能不全面,欢迎补充, 1、要发送的数据大于<em>TCP</em>发送缓冲区剩余空间大小,将会发生拆包。 2、待发送数据大于MSS(最大报文长度),<em>TCP</em>在传输前将进行拆包。 3、要发送的数据小于T...
有人说tcp传输不会丢包,是这样的吗?
我觉得是有可能<em>丢包</em>的,请有网络编程经验的人指点一下
Wireshark的提示
原文转自:http://blog.sina.com.cn/s/blog_987e00020102wq60.html 最近有不少同事开始学习Wireshark,他们遇到的第一个困难就是理解不了主界面上的提示信息,于是跑来问我。问的人多了,我也总结成一篇文章,希望对大家有所帮助。Wireshark的提示可是其最有价值之处,对于初学者来说,如果能理解这些提示所隐含的意义,学起来定能事半功倍。 ...
TCP丢包检测技术详解
<em>TCP</em><em>丢包</em>检测技术详解 http://www.cctime.com/html/2007-12-6/20071261023151210.htm           2007年12月6日 10:23  中国新通信  作 者:李雪徐昌彪     1、引言
TCP三次握手说起——浅析TCP协议中的疑难杂症
声明:本文来自腾讯增值产品部官方公众号小时光茶社,为CSDN原创投稿,未经许可,禁止任何形式的转载。 作者:黄日成,手Q游戏中心后台开发,腾讯高级工程师。从事C++服务后台开发4年多,主要负责手Q游戏中心后台基础系统、复杂业务系统开发,主导过手Q游戏公会、企鹅电竞App-对战系统等项目的后台系统设计,有丰富的后台架构经验。 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮...
socket TCP丢包问题
我写了一个上位机程序,来接收W5500模块发送的数据(1/50K秒,发送16bit数据),发送接收到的数据会有<em>丢包</em>,用wireshark进行抓包后也证实了<em>丢包</em>的问题,如下图所示 下面是我接收端的程序
Wireshark(四):网络性能排查之TCP重传与重复ACK
原文出处: EMC中文支持论坛 作为网络管理员,很多时间必然会耗费在修复慢速服务器和其他终端。但用户感到网络运行缓慢并不意味着就是网络问题。 解决网络性能问题,首先从<em>TCP</em>错误恢复功能(<em>TCP</em>重传与重复ACK)和流控功能说起。之后阐述如何发现网络慢速之源。最后,对网络各组成部分上的数据流进行概况分析。这几张内容将会帮助读者识别,诊断,以及排查慢速网络。 更多信息 接下来的内...
解决系统丢包问题
当系统经常出现<em>丢包</em>问题时(ifconfig可以看到),修改rx_ring可以解决这个问题。 sudo /sbin/ethtool -g eth0 | /bin/grep "RX:" | /bin/sed "1q"|/bin/cut -f 3 |xargs /sbin/ethtool -G eth0 rx [huanglq@hadoop99 ~]$ sudo /sbin/ethtool -
TCP快速重传为什么是三次冗余ack,这个三次是怎么定下来的?
先理解ACK的基本工作原理,当发送端发送第N-1个包后,接收端答复的ACK序列号实际上跟发送端发送下一个包,也就是第N个包的序列号一致。 假设有个主机ISN是5000,发送500字节报文至接收方。一旦报文接收之后,接收端回复一个ACK号为5500的<em>TCP</em> ACK报文,基于以下公式:Sequence Number In + Bytes of Data Received = Ackn...
TCP重试机制与运用实例
<em>TCP</em>重试机制与运用实例 second60  20180205 1. <em>TCP</em>重试机制简介   在<em>TCP</em>三次握手的过程中,当客户端发送SYN分节之后,如果没有收到服务端返回的确认ACK,那么<em>TCP</em>会在6s后继续发送SYN分节,一直没收到,25s继续发送....在75S后仍然没收到请求,则返回错误。     上面描述了<em>TCP</em>三次握手过程中的重试机制。 1. 发送SYN分节并没收到ACK
求助:关于TCP传输不稳定(估计是丢包)的问题
  小弟做了一个内网用<em>TCP</em>传输文字、文件的通讯软件。   以下为设计思路: 发送方:   1、发送PrintWriter.println()告诉接收方接下来要传送的是String还是File   2
TCP连接及可靠性、提高性能详解
一、<em>TCP</em>协议的特点 <em>TCP</em>全称为 “传输控制协议”(Transmission Control Protocol),顾名思义, 要对数据的传输进行一个详细的控制。有如下特点: 1、面向连接的 2、面向字节流 3、保证可靠传输(<em>丢包</em>重发,超时重传) 4、支持全双工通信 5、支持端口到端口的连接,每一条<em>TCP</em>连接只能有两个端点 二、<em>TCP</em>协议段格式 如下图: 解释各字段...
【网络】TCP连接的顺序问题、丢包问题、流量控制、拥塞控制问题
文章目录前言顺序问题、<em>丢包</em>问题流量控制机制(滑动窗口rwnd)拥塞控制问题(拥塞窗口cwnd) 前言 接收端应答方式:累计确认,每次确认多个ID; 发送端的数据结构分为四个部分 接收端的数据结构 顺序问题、<em>丢包</em>问题 超时重传 流量控制机制(滑动窗口rwnd) 目的:防止发送方把接收方缓存塞满。 在对于包的确认中,同时会携带一个窗口的大小 根据接收方处理数据的速度,自动调整窗口大小。 拥塞控...
终于明白阿里百度这样的大公司,为什么面试经常拿ThreadLocal考验求职者了
点击上面↑「爱开发」关注我们每晚10点,捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类,各个线程都拥有一份线程私...
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小人工智障。 思路可以运用在不同地方,主要介绍的是思路。
Python 植物大战僵尸代码实现(2):植物卡片选择和种植
这篇文章要介绍的是: - 上方植物卡片栏的实现。 - 点击植物卡片,鼠标切换为植物图片。 - 鼠标移动时,判断当前在哪个方格中,并显示半透明的植物作为提示。
死磕YOLO系列,YOLOv1 的大脑、躯干和手脚
YOLO 是我非常喜欢的目标检测算法,堪称工业级的目标检测,能够达到实时的要求,它帮我解决了许多实际问题。 这就是 YOLO 的目标检测效果。它定位了图像中物体的位置,当然,也能预测物体的类别。 之前我有写博文介绍过它,但是每次重新读它的论文,我都有新的收获,为此我准备写一个系列的文章来详尽分析它。这是第一篇,从它的起始 YOLOv1 讲起。 YOLOv1 的论文地址:https://www.c
知乎高赞:中国有什么拿得出手的开源软件产品?(整理自本人原创回答)
知乎高赞:中国有什么拿得出手的开源软件产品? 在知乎上,有个问题问“中国有什么拿得出手的开源软件产品(在 GitHub 等社区受欢迎度较好的)?” 事实上,还不少呢~ 本人于2019.7.6进行了较为全面的 回答 - Bravo Yeung,获得该问题下回答中得最高赞(236赞和1枚专业勋章),对这些受欢迎的 Github 开源项目分类整理如下: 分布式计算、云平台相关工具类 1.SkyWalk
记一次腾讯面试:进程之间究竟有哪些通信方式?如何通信? ---- 告别死记硬背
有一次面试的时候,被问到进程之间有哪些通信方式,不过由于之前没深入思考且整理过,说的并不好。想必大家也都知道进程有哪些通信方式,可是我猜很多人都是靠着”背“来记忆的,所以今天的这篇文章,讲给大家详细着讲解他们是如何通信的,让大家尽量能够理解他们之间的区别、优缺点等,这样的话,以后面试官让你举例子,你也能够顺手拈来。 1、管道 我们来看一条 Linux 的语句 netstat -tulnp | gr...
20行Python代码爬取王者荣耀全英雄皮肤
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了。我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成。 准备工作 爬取皮肤本身并不难,难点在于分析,我们首先得得到皮肤图片的url地址,话不多说,我们马上来到王者荣耀的官网: 我们点击英雄资料,然后随意地选择一位英雄,接着F12打开调试台,找到英雄原皮肤的图片
网络(8)-HTTP、Socket、TCP、UDP的区别和联系
<em>TCP</em>/IP协议是传输层协议,主要解决数据如何在网络中传输,而HTTP是应用层协议,主要解决如何包装数据。 一、<em>TCP</em>与UDP的不同 1. 是否需要建立连接。 UDP在传送数据之前不需要先建立连接;<em>TCP</em>则提供面向连接的服务; 2. 是否需要给出确认 对方的传输层在收到UDP报文后,不需要给出任何确认,而 <em>TCP</em>需要给出确认报文,要提供可靠的、面向连接的传输服务。 3.虽然UDP不提供可靠交...
简明易理解的@SpringBootApplication注解源码解析(包含面试提问)
欢迎关注文章系列 ,关注我 《提升能力,涨薪可待》 《面试知识,工作可待》 《实战演练,拒绝996》 欢迎关注我博客,原创技术文章第一时间推出 也欢迎关注公 众 号【Ccww笔记】,同时推出 如果此文对你有帮助、喜欢的话,那就点个赞呗,点个关注呗! 《提升能力,涨薪可待篇》- @SpringBootApplication注解源码解析 一、@SpringBootApplication 的作用是什
防劝退!数据结构和算法难理解?可视化动画带你轻松透彻理解!
大家好,我是 Rocky0429,一个连数据结构和算法都不会的蒟蒻… 学过数据结构和算法的都知道这玩意儿不好学,没学过的经常听到这样的说法还没学就觉得难,其实难吗?真难! 难在哪呢?当年我还是个小蒟蒻,初学数据结构和算法的时候,在忍着枯燥看完定义原理,之后想实现的时候,觉得它们的过程真的是七拐八绕,及其难受。 在简单的链表、栈和队列这些我还能靠着在草稿上写写画画理解过程,但是到了数论、图...
西游记团队中如果需要裁掉一个人,会先裁掉谁?
2019年互联网寒冬,大批企业开始裁员,下图是网上流传的一张截图: 裁员不可避免,那如何才能做到不管大环境如何变化,自身不受影响呢? 我们先来看一个有意思的故事,如果西游记取经团队需要裁员一名,会裁掉谁呢,为什么? 西游记团队组成: 1.唐僧 作为团队teamleader,有很坚韧的品性和极高的原则性,不达目的不罢休,遇到任何问题,都没有退缩过,又很得上司支持和赏识(直接得到唐太宗的任命,既给
开挂的人生!那些当选院士,又是ACM/IEEE 双料Fellow的华人学者们
昨日,2019年两院院士正式官宣,一时间抢占了各大媒体头条。 朋友圈也是一片沸腾,奔走相告,赶脚比自己中了大奖还嗨皮! 谁叫咱家导师就是这么厉害呢!!! 而就在最近,新一年度的IEEE/ACM Fellow也将正式公布。 作为学术届的顶级荣誉,不自然地就会将院士与Fellow作比较,到底哪个含金量更高呢? 学术君认为,同样是专业机构对学者的认可,考量标准不一,自然不能一概而论。 但...
聊聊C语言和指针的本质
坐着绿皮车上海到杭州,24块钱,很宽敞,在火车上非正式地聊几句。 很多编程语言都以 “没有指针” 作为自己的优势来宣传,然而,对于C语言,指针却是与生俱来的。 那么,什么是指针,为什么大家都想避开指针。 很简单, 指针就是地址,当一个地址作为一个变量存在时,它就被叫做指针,该变量的类型,自然就是指针类型。 指针的作用就是,给出一个指针,取出该指针指向地址处的值。为了理解本质,我们从计算机模型说起...
Python语言高频重点汇总
Python语言高频重点汇总 GitHub面试宝典仓库——点这里跳转 文章目录Python语言高频重点汇总**GitHub面试宝典仓库——点这里跳转**1. 函数-传参2. 元类3. @staticmethod和@classmethod两个装饰器4. 类属性和实例属性5. Python的自省6. 列表、集合、字典推导式7. Python中单下划线和双下划线8. 格式化字符串中的%和format9.
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观...
代码详解:如何用Python快速制作美观、炫酷且有深度的图表
全文共12231字,预计学习时长35分钟生活阶梯(幸福指数)与人均GDP(金钱)正相关的正则图本文将探讨三种用Python可视化数据的不同方法。以可视化《2019年世界幸福报告》的数据为例,本文用Gapminder和Wikipedia的信息丰富了《世界幸福报告》数据,以探索新的数据关系和可视化方法。《世界幸福报告》试图回答世界范围内影响幸福的因素。报告根据对“坎特里尔阶梯问题”的回答来确定幸...
程序员一般通过什么途径接私活?
二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”,还有很多读者问过我类似这样的问题。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但我想,恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉,我也算是有经验的人了。 唾弃接私活、做外...
(经验分享)作为一名普通本科计算机专业学生,我大学四年到底走了多少弯路
今年正式步入了大四,离毕业也只剩半年多的时间,回想一下大学四年,感觉自己走了不少弯路,今天就来分享一下自己大学的学习经历,也希望其他人能不要走我走错的路。 (一)初进校园 刚进入大学的时候自己完全就相信了高中老师的话:“进入大学你们就轻松了”。因此在大一的时候自己学习的激情早就被抛地一干二净,每天不是在寝室里玩游戏就是出门游玩,不过好在自己大学时买的第一台笔记本性能并不是很好,也没让我彻底沉...
如何写一篇技术博客,谈谈我的看法
前言 只有光头才能变强。 文本已收录至我的GitHub精选文章,欢迎Star:https://github.com/ZhongFuCheng3y/3y 我一直推崇学技术可以写技术博客去沉淀自己的知识,因为知识点实在是太多太多了,通过自己的博客可以帮助自己快速回顾自己学过的东西。 我最开始的时候也是只记笔记,认为自己能看得懂就好。但如果想验证自己是不是懂了,可以写成技术博客。在写技术博客的...
字节跳动面试官这样问消息队列:分布式事务、重复消费、顺序消费,我整理了一下
你知道的越多,你不知道的越多 点赞再看,养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式和人才交流群,欢迎Star和完善 前言 消息队列在互联网技术存储方面使用如此广泛,几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。 作为一个在互联网公司面一次拿一次Offer的面霸...
面试还搞不懂redis,快看看这40道面试题(含答案和思维导图)
Redis 面试题 1、什么是 Redis?. 2、Redis 的数据类型? 3、使用 Redis 有哪些好处? 4、Redis 相比 Memcached 有哪些优势? 5、Memcache 与 Redis 的区别都有哪些? 6、Redis 是单进程单线程的? 7、一个字符串类型的值能存储最大容量是多少? 8、Redis 的持久化机制是什么?各自的优缺点? 9、Redis 常见性...
大学四年自学走来,这些珍藏的「实用工具/学习网站」我全贡献出来了
知乎高赞:文中列举了互联网一线大厂程序员都在用的工具集合,涉及面非常广,小白和老手都可以进来看看,或许有新收获。
互联网公司的裁员,能玩出多少种花样?
裁员,也是一门学问,可谓博大精深!以下,是互联网公司的裁员的多种方法:-正文开始-135岁+不予续签的理由:千禧一代网感更强。95后不予通过试用期的理由:已婚已育员工更有责任心。2通知接下来要过苦日子,让一部分不肯同甘共苦的员工自己走人,以“兄弟”和“非兄弟”来区别员工。3强制996。员工如果平衡不了工作和家庭,可在离婚或离职里二选一。4不布置任何工作,但下班前必须提交千字工作日报。5不给活干+...
【设计模式】单例模式的八种写法分析
网上泛滥流传单例模式的写法种类,有说7种的,也有说6种的,当然也不排除说5种的,他们说的有错吗?其实没有对与错,刨根问底,写法终究是写法,其本质精髓大体一致!因此完全没必要去追究写法的多少,有这个时间还不如跟着宜春去网吧偷耳机、去田里抓青蛙得了,一天天的....
《面试宝典》:检验是否为合格的初中级程序员的面试知识点,你都知道了吗?查漏补缺
欢迎关注文章系列,一起学习 《提升能力,涨薪可待篇》 《面试知识,工作可待篇》 《实战演练,拒绝996篇》 也欢迎关注公 众 号【Ccww笔记】,原创技术文章第一时间推出 如果此文对你有帮助、喜欢的话,那就点个赞呗,点个关注呗! 《面试知识,工作可待篇》-Java笔试面试基础知识大全 前言 是不是感觉找工作面试是那么难呢? 在找工作面试应在学习的基础进行总结面试知识点,工作也指日可待,欢...
关于研发效能提升的思考
研发效能提升是最近比较热门的一个话题,本人根据这几年的工作心得,做了一些思考总结,由于个人深度有限,暂且抛转引入。 三要素 任何生产力的提升都离不开这三个因素:人、流程和工具,少了其中任何一个因素都无法实现。 人,即思想,也就是古人说的“道”,道不同不相为谋,是制高点,也是高层建筑的基石。 流程,即方法,也是古人说的“法”。研发效能的提升,也就是要提高投入产出比,既要增加产出,也要减...
微博推荐算法简述
在介绍微博推荐算法之前,我们先聊一聊推荐系统和推荐算法。有这样一些问题:推荐系统适用哪些场景?用来解决什么问题、具有怎样的价值?效果如何衡量? 推荐系统诞生很早,但真正被大家所重视,缘起于以”facebook”为代表的社会化网络的兴起和以“淘宝“为代表的电商的繁荣,”选择“的时代已经来临,信息和物品的极大丰富,让用户如浩瀚宇宙中的小点,无所适从。推荐系统迎来爆发的机会,变得离用户更近: 快...
GitHub 标星 1.6w+,我发现了一个宝藏项目,作为编程新手有福了!
大家好,我是 Rocky0429,一个最近老在 GitHub 上闲逛的蒟蒻… 特别惭愧的是,虽然我很早就知道 GitHub,但是学会逛 GitHub 的时间特别晚。当时一方面是因为菜,看着这种全是英文的东西难受,不知道该怎么去玩,另一方面是一直在搞 ACM,没有做一些工程类的项目,所以想当然的以为和 GitHub 也没什么关系(当然这种想法是错误的)。 后来自己花了一个星期看完了 Pyt...
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip installselenium -ihttps://pypi.tuna.tsinghua.edu.cn/simple/ ...
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca...
恕我直言,牛逼哄哄的MongoDB你可能只会30%
MongoDB 闪亮登场自我介绍MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于...
一文带你看清 HTTP 所有概念
上一篇文章我们大致讲解了一下 HTTP 的基本特征和使用,大家反响很不错,那么本篇文章我们就来深究一下 HTTP 的特性。我们接着上篇文章没有说完的 HTTP 标头继续来介绍(此篇文章会介绍所有标头的概念,但没有深入底层) HTTP 标头 先来回顾一下 HTTP1.1 标头都有哪几种 HTTP 1.1 的标头主要分为四种,通用标头、实体标头、请求标头、响应标头,现在我们来对这几种标头进行介绍 通用...
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东...
破14亿,Python分析我国存在哪些人口危机!
一、背景 二、爬取数据 三、数据分析 1、总人口 2、男女人口比例 3、人口城镇化 4、人口增长率 5、人口老化(抚养比) 6、各省人口 7、世界人口 四、遇到的问题 遇到的问题 1、数据分页,需要获取从1949-2018年数据,观察到有近20年参数:LAST20,由此推测获取近70年的参数可设置为:LAST70 2、2019年数据没有放上去,可以手动添加上去 3、将数据进行 行列转换 4、列名...
web前端javascript+jquery知识点总结
1.Javascript 语法.用途 javascript 在前端网页中占有非常重要的地位,可以用于验证表单,制作特效等功能,它是一种描述语言,也是一种基于对象(Object)和事件驱动并具有安全性的脚本语言 ...
在家远程办公效率低?那你一定要收好这个「在家办公」神器!
相信大家都已经收到国务院延长春节假期的消息,接下来,在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了,相反,对于沟通效率,文件协作,以及信息安全都有着极高的要求。有着非常多的挑战,比如: 1在异地互相不见面的会议上,如何提高沟通效率? 2文件之间的来往反馈如何做到及时性?如何保证信息安全? 3如何规划安排每天工作,以及如何进行成果验收? ...... ...
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,内存的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!...
这个世界上人真的分三六九等,你信吗?
偶然间,在知乎上看到一个问题 一时间,勾起了我深深的回忆。 以前在厂里打过两次工,做过家教,干过辅导班,做过中介。零下几度的晚上,贴过广告,满脸、满手地长冻疮。 再回首那段岁月,虽然苦,但让我学会了坚持和忍耐。让我明白了,在这个世界上,无论环境多么的恶劣,只要心存希望,星星之火,亦可燎原。 下文是原回答,希望能对你能有所启发。 如果我说,这个世界上人真的分三六九等,...
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合...
雷火神山直播超两亿,Web播放器事件监听是怎么实现的?
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题,让视音频内容可以不依赖用户安装App,就能进行播放以及在社交平台进行传播。在视频业务大数据平台中,播放数据的统计分析非常重要,所以Web播放器在使用过程中,需要对其内部的数据进行收集并上报至服务端,此时,就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢? 01 监听事件明细表 名...
3万字总结,Mysql优化之精髓
本文知识点较多,篇幅较长,请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量,备受互联网大厂的青睐,出门面试想进BAT,想拿高工资,不会点MySQL优化知识,拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢 数据是存放在磁盘上的,读写速度无法和内存相比 如何优化 设计...
一条链接即可让黑客跟踪你的位置! | Seeker工具使用
搬运自:冰崖的部落阁(icecliffsnet) 严正声明:本文仅限于技术讨论,严禁用于其他用途。 请遵守相对应法律规则,禁止用作违法途径,出事后果自负! 上次写的防社工文章里边提到的gps定位信息(如何防止自己被社工或人肉) 除了主动收集他人位置信息以外,我们还可以进行被动收集 (没有技术含量) Seeker作为一款高精度地理位置跟踪工具,同时也是社交工程学(社会工程学)爱好者...
​每个数据分析师都该有自己的分析框架
0x00 前言 在文章《最近面了十多个数据分析师,聊一聊我发现的一些问题》发出后,很多朋友私聊或者在评论中希望居士能否提供一份文中提到的完善的分析框架。本来,居士认为这是一篇相对好写的文...
昂,我24岁了
24岁的程序员,还在未来迷茫,不知道能不能买得起房子
作为程序员的我,大学四年一直自学,全靠这些实用工具和学习网站!
我本人因为高中沉迷于爱情,导致学业荒废,后来高考,毫无疑问进入了一所普普通通的大学,实在惭愧???? 我又是那么好强,现在学历不行,没办法改变的事情了,所以,进入大学开始,我就下定决心,一定要让自己掌握更多的技能,尤其选择了计算机这个行业,一定要多学习技术。 在进入大学学习不久后,我就认清了一个现实:我这个大学的整体教学质量和学习风气,真的一言难尽,懂的人自然知道怎么回事? 怎么办?我该如何更好的提升自...
Python学习笔记(语法篇)
本篇博客大部分内容摘自埃里克·马瑟斯所著的《Python编程:从入门到实战》(入门类书籍),采用举例的方式进行知识点提要 关于Python学习书籍推荐文章 《学习Python必备的8本书》 Python语法特点: 通过缩进进行语句组织 不需要变量或参数的声明 冒号 1 变量和简单数据结构 1.1 变量命名 只能包含字母、数字和下划线,且不能以数字打头。 1.2 字符串 在Python中,用引号...
plsql developer下载
PL/SQL Developer是一个集成开发环境,专门面向Oracle数据库存储程序单元的开发。PL/SQL Developer侧重于易用性、代码品质和生产力,充分发挥Oracle应用程序开发过程中的主要优势。 相关下载链接:[url=//download.csdn.net/download/scmky/3666793?utm_source=bbsseo]//download.csdn.net/download/scmky/3666793?utm_source=bbsseo[/url]
Serena软件配置管理下载
软件配置管理,软件配置管理学习 介绍serena软配管理过程,软配设置及应用效果分析 相关下载链接:[url=//download.csdn.net/download/lizao543/5892381?utm_source=bbsseo]//download.csdn.net/download/lizao543/5892381?utm_source=bbsseo[/url]
HeadFirstjQuery代码下载
HeadFirstjQuery书代码,解压16.3MB.示例含jquery-1.6.2.min.js 相关下载链接:[url=//download.csdn.net/download/mutsu_52015/7266917?utm_source=bbsseo]//download.csdn.net/download/mutsu_52015/7266917?utm_source=bbsseo[/url]
相关热词 c# 时间比天数 c# oracle查询 c# 主动推送 事件 c# java 属性 c# 控制台 窗体 c# 静态类存值 c#矢量作图 c#窗体调用外部程式 c# enum是否合法 c# 如何卸载引用
我们是很有底线的