通过PhantomJS抓取页面数据 [问题点数:40分,结帖人mandarin]

一键查看最优答案

确认一键查看最优答案?
本功能为VIP专享,开通VIP获取答案速率将提升10倍哦!
Bbs1
本版专家分:0
结帖率 98.21%
Bbs1
本版专家分:0
PHP抓取网页执行JS phantomjs
PHP<em>抓取</em>网页,网页内容是通过JS加载的,这时需要执行JS来加载内容。 需要用到phantomjs。下面是windows的安装方法。 1.安装phantomjs 下载地址:http://phantomjs.org/download.html 下载完成解压到E:\software\phantomjs-2.1.1-windows 把E:\software\phantomjs-2.1.1-wi...
Python 爬虫 PhantomJs 获取JS动态数据
Python 爬虫 PhantomJs 获取JS动态<em>数据</em> 字数2034 阅读2900 评论16 喜欢8 上篇文章我非常high的爬取了一个正常网页的<em>数据</em> 对是正常 不正常的来了 这次研究的就是那些“不正常”的网页 当时是我太天真 后面发现水又深 介于现在JS H5的大趋势 大部分网站都是混入了JS<em>数据</em>加载 <em>数据</em>是延迟加载的 这样如果我们用原始的ur
phantomjs实例爬取AJAX页面
package com.phantomjs.getContent; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; public class getContent { public static
phantomjs 抓取页面失败
蛛蛛爬虫无法<em>抓取</em> angularjs 渲染的<em>页面</em>,解决这个问题通常要用到第三方技术,phantomjs 是个不错的选择,今天测试<em>抓取</em> www.baidu.com 没有问题(phantomjs getpage.js &quot;http://www.baidu.com&quot;),但<em>抓取</em>自己的网站却有问题 (phantomjs getpage.js &quot;http://www.port56.com&quot;),经过分析,发现是因...
使用 phantomjs 异步爬取 ajax 网页数据
【摘要】这几天在学习 phantomjs ,今天学习到了如何实现使用 phantomjs 爬取由 ajax 异步生成的<em>数据</em>,这里做个笔记。 首先,需要了解一下 ajax , ajax 是一个异步输出的技术,当普通的爬虫爬取网页的时候,发送 http 请求,而获取到的都是 http 请求后直接的响应<em>数据</em>,然后在网页中可能还有 ajax ,这是网页向服务器发送的异步请求<em>数据</em>,这是第二次 http
PhantomJS-抓取运行js后的动态网页简单案例(二)
          此篇是<em>抓取</em>运行js后的网页,如果需要解析DOM可以结合Jsoup; 1. 下载<em>PhantomJS</em> 官网:http://phantomjs.org/ 2. <em>PhantomJS</em>整合 解压下载zip后把<em>PhantomJS</em>.exe拷贝到项目目录下; 3. <em>PhantomJS</em>需要js文件 <em>PhantomJS</em>需要通过js文件获取html<em>数据</em>流,在项目的目录下创建js文件; j...
使用phantomjs访问网站,高度自定义headers
由于在遇到的一个网站需要cookie才能访问成功,所以研究了一下如何给phantomjs设置cookie。既然能设置cookie,那么其余的头信息应该也能设置,下面就给大家说明如何实现。 下面是我们要附带给phantomjs浏览器的headers信息。 headers = {     'accept': "text/html,application/xhtml+xml,applicat
利用phantomjs模拟登录网站(帐号登陆)
首先我们就以CSDN博客的登录为例,这里的登陆账号和密码,读者可以使用自己的,只要将登录帐号和密码修改一下就可以登录并<em>抓取</em>网页<em>数据</em>下来了,首先我们利用eclipse创建一个java工程,主要是用来调用phantomjs,java工程目录如下截图: 、 接着以下就是我们在Test.java中的代码: package com.xzz.test; import java.io.BufferedRe...
关于phantomjs爬取需要登录页面并截图(页面包含一些异步请求的数据
项目有个需求是需要捕获某个<em>页面</em>的<em>数据</em>(后端完成),因为之前用过phantom,所以就毫不犹豫的选择了它,关于phantom的介绍,安装和简单使用百度很容易找到,这里就不再赘述了。 之后就开始大刀阔斧的码起来了,兴致冲冲的利用网上找到的截取某网页的代码(见附录1)测试。 'use strict'; var page = require('webpage').create(), system...
利用selenium和phantomjs来实现下拉加载页面的获取
前景:在爬虫中遇到过一些AJAX加载的<em>页面</em>,对于这种<em>页面</em>我们最好的解决办法就是分析他的接口,通过构造接口来请求<em>数据</em>,但有限网站的反爬手段比较严格的话,这个接口是不好分析的。在这里提供一种思路,就是利用硒来自动化操作模拟浏览器来获得<em>页面</em>信息,可以使用Chorme或者phantomjs,Chorme是基于浏览器的,因为这边需要将项目部署到服务器上,所以采用无界面浏览器phantomjs。1.首先需要编...
NodeJS + PhantomJS 抓取页面信息以及截图
利用<em>PhantomJS</em>做网页截图经济适用,但其API较少,做其他功能就比较吃力了。例如,其自带的Web Server Mongoose最高只能同时支持10个请求,指望他能独立成为一个服务是不怎么实际的。所以这里需要另一个语言来支撑服务,这里选用NodeJS来完成。   源码地址 对源代码感兴趣的朋友可以在Github获取: https://github.com/miniflycn/ur...
漏洞扫描器之phantomJS获取ajax请求
程序自动化扫描漏洞,需要从<em>页面</em>中解析出有效url及其参数,然后加上payload进行漏洞验证从<em>页面</em>中可以获得的有三类请求1、a标签的href属性、iframe的src属性、form的action属性2、js动态发出的ajax请求(前后端分离架构中,自动发出的ajax请求)3、人机交互(onclick、onmouseover等)产生的请求本篇关注第2类请求,借助phantomJS(一种无界面的模拟浏...
使用Selenium和PhantomJS解析带JS的网页
有的网页,不能直接通过wget/curl等命令、或者直接使用Python中的liburl这样的函数库来直接获取其真正展现给用户的信息,因为里面包含有JavaScript脚本(而该JS和<em>页面</em><em>数据</em>的生成相关),需要通过Firefox、Chrome等浏览器渲染后才能得到想要看的结果。 例如,我想查询的一个根据IP查询到地理位置的网页:http://www.ip.cn/125.95.26.81 为了写...
Phantomjs爬取带有js加载完后才能获得的页面html内容
2019独角兽企业重金招聘Python工程师标准&gt;&gt;&gt; ...
phantomjs处理异步加载后,获取渲染后的页面源码
2019独角兽企业重金招聘Python工程师标准&gt;&gt;&gt; ...
phantomjs访问html页面
在firebug控制台上运行<em>抓取</em>标签内容的代码的结果和用phantomjs运行相同操作的js代码的结果有时会不一样,尤其是多次执行后 document.getElementsByTagName('h3')[0].innerHTML;
Java网络爬虫(十三)--PhantomJs的使用及性能优化
先说点题外话吧,在我刚开始学习爬虫的时候,有一次一个学长给了我一个需求,让我把京东图书的相关信息<em>抓取</em>下来。恩,因为真的是刚开始学习爬虫,并且是用豆瓣练得手,<em>抓取</em>了大概500篇左右的影评吧,然后存放到了mysql中,当时觉得自己厉害的不行,于是轻松的接下了这个需求。。。 然后信心满满的开始干活。。首先查看网页源代码。。。???我需要的东西源代码里面没有!!!然后去问了学长。学长给我说,这是AJAX
phantomJs获取动态页面
phantomjs获取动态<em>页面</em> phantomJs:无界面浏览器。多进程下使用phantomJs性能会下降很严重 # coding=gbk __author__ = "SuperXxt" from selenium import webdriver browser = webdriver.<em>PhantomJS</em>(executable_path='D:/Python/phantomjs-2.1.1-...
网页抓屏工具 phantomjs
phantomjs 的功能很强大,做爬虫应用,<em>抓取</em>网页<em>数据</em>、网页截屏、<em>页面</em>访问自动化等。
phantomjs 抓取html页面中所有h3标签
var page = require('webpage').create(); phantom.outputEncoding='gbk'; page.open('http://baidu.com/s?wd=javascript',function(status) { console.log(page.title); page.evaluate(function(){ var len=document.getElementsByTagName('h3').length; var h3=new Array(); for(i=0;i)[i].innerHTML; } console.log(h3); }); phantom.exit(); }); 这段代码有哪些问题,为什么运行不出结果
Selenium+PhantomJS+python获取html动态生成的数据
python获取html动态生成的数 python获取html动态生成的数
Python爬取js渲染页面方法 ---- PhantomJS
爬取某个网站<em>页面</em>的时候,我发现明明可以看见的src被我爬下来的时候显示为空,让我百思不得其解(大神无视),后面得知是被js渲染的<em>页面</em>无法直接获取他的src,最终得到了以下解决方法:使用 <em>PhantomJS</em> 解决 1.直接百度下载  <em>PhantomJS</em>  解压使用,把bin目录配置到PATH环境 2.贴代码。会的一看就懂,不会的,我也没办法 ...
使用PhantomJS+Selenium抓取经过JS渲染的页面
介绍<em>PhantomJS</em><em>PhantomJS</em>下载地址<em>PhantomJS</em>是一个服务器端的 JavaScript API 的WebKit(开源的浏览器引擎)。其支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas 和 SVG。<em>PhantomJS</em>可以用于<em>页面</em>自动化,网络监测,网页截屏,以及无界面测试等。使用<em>PhantomJS</em>,而不用Chromedriver和firefox,主要是因
学习phantomjs(一)(phantomjs关于页面跳转的问题)
此代码目的用于打开浏览器,输入手机商城,跳转第二页,搜索华强北商城的网站,并且进入。 import selenium import selenium.webdriver import time noviewpath=r"C:\Users\Administrator\Desktop\phantomjs-2.1.1-windows\bin\phantomjs.exe"#phantomjs需要提前下载好,
phantomJs循环抓取不一样的网址办法
已经解决,占坑,顺便写一篇解决Ajax报错的
phantomjs实现循环
// Render Multiple URLs to file var RenderUrlsToFile, arrayOfUrls, system; system = require("system"); /* Render given urls @param array of URLs to render @param callbackPerUrl Function called afte
java使用phantomJs抓取动态页面
随时随地阅读更多技术实战干货,充分利用闲暇时间,请关注源代码社区公众号和技术交流群。 from:http://blog.csdn.net/kaka0930/article/details/68941932 1. phantomjs的镜像网站:http://npm.taobao.org/dist/phantomjs/ 2. phantomjs内置webkit内核,也就是chrome的内核。...
Node.js 动态网页爬取 PhantomJS 使用入门
版权声明:本文为 wintersmilesb101 -(个人独立博客– http://wintersmilesb101.online 欢迎访问)博主原创文章,未经博主允许不得转载。 既然是入门,那我们就从人类的起源。。<em>PhantomJS</em> 来说起吧。1、<em>PhantomJS</em>是什么?<em>PhantomJS</em>是一个基于webkit的javascript API。它使用QtWebKit作为它核心浏览器的功能,使用w
一起学爬虫 Node.js 爬虫篇(三)使用 PhantomJS 爬取动态页面
版权声明:本文为 wintersmilesb101 -(个人独立博客– http://wintersmilesb101.online 欢迎访问)博主原创文章,未经博主允许不得转载。 今天我们来学习如何使用 <em>PhantomJS</em> 来<em>抓取</em>动态网页,至于 <em>PhantomJS</em> 是啥啊什么的,看这里 我们这里就不再讨论 <em>PhantomJS</em> 的入门基础了。下面正题今天我们来<em>抓取</em>网易新闻 http://news.1
使用phantomjs抓取JS动态生成的页面
关于phantomjsphantomjs实现了一个无界面的webkit浏览器。虽然没有界面,但dom渲染、js运行、网络访问等API都很完整。可以利用phantomjs来下载js生成的<em>页面</em>。下载phantomjs(http://phantomjs.org/download.html)。解压到任意目录,在Windows下将包含phantomjs.exe的目录添加到系统路径。Linux下 phantom
phantomjs 抓取网页
phantomjs:我的理解就是它是一个无显示的浏览器,也就是说除了不能显示<em>页面</em>内容以外,浏览器能干的活儿它基本上都能干。so,最近由于实验需要,要从某电商爬一点图片,但是它又是AJAX生成的,单纯的爬取HTML的方法是行不通的,o(╯□╰)o,于是在经过一些求助后,;了解到了PHANTOMJS,鉴于网上没找到太多实例,只好自己总结下以备不时之需。另外直接查看官网上的说明文档会有很大收获滴~顺便锻
使用phantomjs&casperjs+jsoup获取网页内容
-------------// http://casperjs.org/var casper = require('casper').create({  pageSettings: {    loadImages:  false, // 不加载图片,减少请求  }});var fs = require('fs');casper.userAgent('Mozilla/5.0 (Macintosh; ...
phantomjs 点击页面上的连接问题
请问有朋友用过phantomjs吗? 请问一下应该怎么实现, <em>页面</em>之间的跳转啊 比如 : 现在使用了phantomjs访问了百度首页, 然后我利用js设置了需要搜索的关键字, 然后模拟点击提交按钮,
基于Python, Selenium, Phantomjs无头浏览器访问页面
引言: 在自动化测试以及爬虫领域,无头浏览器的应用场景非常广泛,本文将梳理其中的若干概念和思路,并基于代码示例其中的若干使用技巧。
web爬虫学习(五)——使用PhantomJS爬取数据
笔者是一个痴迷于挖掘<em>数据</em>中的价值的学习人,希望在平日的工作学习中,挖掘<em>数据</em>的价值,找寻<em>数据</em>的秘密,笔者认为,<em>数据</em>的价值不仅仅只体现在企业中,个人也可以体会到<em>数据</em>的魅力,用技术力量探索行为密码,让大<em>数据</em>助跑每一个人,欢迎直筒们关注我的公众号,大家一起讨论<em>数据</em>中的那些有趣的事情。 我的公众号为:livandata
Selenium&&PhantomJS获取网站中的JS返回的数据
一、安装Selenium模块 pip install selenium       Selenium 是一套完整的Web应用程序测试系统,包含了测试的录制、编写及运行和测试的并行处理。 二、安装<em>PhantomJS</em>(官网下载:http://phantomjs.org/)         下载后放在python安装目录,和python.exe在一个文件夹下。Selenium和Phanto
php结合phantomjs实现网页截屏、抓取js渲染的页面
1. 首先<em>PhantomJS</em>快速入门 <em>PhantomJS</em>它全面支持web而不需浏览器支持, DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。 <em>PhantomJS</em> 可以用于 <em>页面</em>自动化 , 网络监测 , 网页截屏 ,以及无界面测试 等。 2. php如何使用<em>PhantomJS</em>来做一些事情
在scrapy中使用phantomJS实现异步爬取
使用selenium能够非常方便的获取网页的ajax内容,并且能够模拟用户点击和输入文本等诸多操作,这在使用scrapy爬取网页的过程中非常有用。网上将selenium集成到scrapy的文章很多,但是很少有能够实现异步爬取的,下面这段代码就重写了scrapy的downloader,同时实现了selenium的集成以及异步。使用时需要<em>PhantomJS</em>DownloadHandler添加到配置文件的
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
在中国程序员是青春饭吗?
今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...
《MySQL 性能优化》之理解 MySQL 体系结构
本文介绍 MySQL 的体系结构,包括物理结构、逻辑结构以及插件式存储引擎。
python自动下载图片
近日闲来无事,总有一种无形的力量萦绕在朕身边,让朕精神涣散,昏昏欲睡。 可是,像朕这么有职业操守的社畜怎么能在上班期间睡瞌睡呢,我不禁陷入了沉思。。。。 突然旁边的IOS同事问:‘嘿,兄弟,我发现一个网站的图片很有意思啊,能不能帮我保存下来提升我的开发灵感?’ 作为一个坚强的社畜怎么能说自己不行呢,当时朕就不假思索的答应:‘oh, It’s simple. Wait for me for a ...
一名大专同学的四个问题
【前言】   收到一封来信,赶上各种事情拖了几日,利用今天要放下工作的时机,做个回复。   2020年到了,就以这一封信,作为开年标志吧。 【正文】   您好,我是一名现在有很多困惑的大二学生。有一些问题想要向您请教。   先说一下我的基本情况,高考失利,不想复读,来到广州一所大专读计算机应用技术专业。学校是偏艺术类的,计算机专业没有实验室更不用说工作室了。而且学校的学风也不好。但我很想在计算机领...
复习一周,京东+百度一面,不小心都拿了Offer
京东和百度一面都问了啥,面试官百般刁难,可惜我全会。
达摩院十大科技趋势发布:2020 非同小可!
【CSDN编者按】1月2日,阿里巴巴发布《达摩院2020十大科技趋势》,十大科技趋势分别是:人工智能从感知智能向认知智能演进;计算存储一体化突破AI算力瓶颈;工业互联网的超融合;机器间大规模协作成为可能;模块化降低芯片设计门槛;规模化生产级区块链应用将走入大众;量子计算进入攻坚期;新材料推动半导体器件革新;保护<em>数据</em>隐私的AI技术将加速落地;云成为IT技术创新的中心 。 新的画卷,正在徐徐展开。...
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API ...
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年<em>数据</em>比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
害怕面试被问HashMap?这一篇就搞定了!
声明:本文以jdk1.8为主! 搞定HashMap 作为一个Java从业者,面试的时候肯定会被问到过HashMap,因为对于HashMap来说,可以说是Java集合中的精髓了,如果你觉得自己对它掌握的还不够好,我想今天这篇文章会非常适合你,至少,看了今天这篇文章,以后不怕面试被问HashMap了 其实在我学习HashMap的过程中,我个人觉得HashMap还是挺复杂的,如果真的想把它搞得明明白...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
python爬取百部电影数据,我分析出了一个残酷的真相
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场<em>数据</em>,<em>数据</em>显示去年总票房为642.66亿元,同比增长5.4%;国产电影总票房411.75亿元,同比增长8.65%,市场占比 64.07%;城市院线观影人次17.27亿,同比增长0.64%。 看上去似乎是一片大好对不对?不过作为一名严谨求实的<em>数据</em>分析师,我从官方<em>数据</em>中看出了一点端倪:国产票房增幅都已经高达8.65%了,为什...
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试,面试官没想到一个ArrayList,我都能跟他扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
良心推荐,我珍藏的一些Chrome插件
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件,由于支持 Markdown 直接转电子邮...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
C++(数据结构与算法):62---搜索树(二叉搜索树、索引二叉搜索树)
一、搜索树的复杂度分析 本文考察二叉搜索树和索引二叉搜索树 二叉搜索树的渐进性能可以和跳表媲美: 查找、插入、删除操作所需的平均时间为Θ(logn) 查找、插入、删除操作的最坏情况的时间为Θ(n) 元素按升序输出时所需时间为Θ(n) 虽然在最坏情况下的查找、插入、删除操作,散列表和二叉搜索树的时间性能相同,但是散列表在最好的情况下具有超级性能Θ(1) 不过,对于一个指定的关键...
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
最全最强!世界大学计算机专业排名总结!
我正在参与CSDN200进20,希望得到您的支持,扫码续投票5次。感谢您! (为表示感谢,您投票后私信我,我把我总结的人工智能手推笔记和思维导图发送给您,感谢!) 目录 泰晤士高等教育世界大学排名 QS 世界大学排名 US News 世界大学排名 世界大学学术排名(Academic Ranking of World Universities) 泰晤士高等教育世界大学排名 中国共...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
那个在阿里养猪的工程师,5年了……
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。 下一个五年,猪圈见! 我就是那个在养猪场里敲代码的工程师,一年多前我和20位工程师去了四川的猪场,出发前总架构师慷慨激昂的说:同学们,中国的养猪产业将因为我们而改变。但到了猪场,发现根本不是那么回事:要个WIFI,没有;...
为什么程序猿都不愿意去外包?
分享外包的组织架构,盈利模式,亲身经历,以及根据一些外包朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助
leetcode88. 合并两个有序数组
给定两个有序整数数组nums1 和 nums2,将 nums2 合并到nums1中,使得num1 成为一个有序数组。 说明: 初始化nums1 和 nums2 的元素数量分别为m 和 n。 你可以假设nums1有足够的空间(空间大小大于或等于m + n)来保存 nums2 中的元素。 示例: 输入: nums1 = [1,2,3,0,0,0], m = 3 nums2 = ...
Java校招入职华为,半年后我跑路了
何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...
世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight...
Python全栈 Linux基础之3.Linux常用命令
Linux对文件(包括目录)有很多常用命令,可以加快开发效率:ls是列出当前目录下的文件列表,选项有-a、-l、-h,还可以使用通配符;c功能是跳转目录,可以使用相对路径和绝对路径;mkdir命令创建一个新的目录,有-p选项,rm删除文件或目录,有-f、-r选项;cp用于复制文件,有-i、-r选项,tree命令可以将目录结构显示出来(树状显示),有-d选项,mv用来移动文件/目录,有-i选项;cat查看文件内容,more分屏显示文件内容,grep搜索内容;>、>>将执行结果重定向到一个文件;|用于管道输出。
​两年前不知如何编写代码的我,现在是一名人工智能工程师
全文共3526字,预计学习时长11分钟 图源:Unsplash 经常有小伙伴私信给小芯,我没有编程基础,不会写代码,如何进入AI行业呢?还能赶上AI浪潮吗? 任何时候努力都不算晚。 下面,小芯就给大家讲一个朋友的真实故事,希望能给那些处于迷茫与徘徊中的小伙伴们一丝启发。(下文以第一人称叙述) 图源:Unsplash 正如Elsa所说,职业转换是...
强烈推荐10本程序员必读的书
很遗憾,这个春节注定是刻骨铭心的,新型冠状病毒让每个人的神经都是紧绷的。那些处在武汉的白衣天使们,尤其值得我们的尊敬。而我们这些窝在家里的程序员,能不外出就不外出,就是对社会做出的最大的贡献。 有些读者私下问我,窝了几天,有点颓丧,能否推荐几本书在家里看看。我花了一天的时间,挑选了 10 本我最喜欢的书,你可以挑选感兴趣的来读一读。读书不仅可以平复恐惧的压力,还可以对未来充满希望,毕竟苦难终将会...
非典逼出了淘宝和京东,新冠病毒能够逼出什么?
loonggg读完需要5分钟速读仅需 2 分钟大家好,我是你们的校长。我知道大家在家里都憋坏了,大家可能相对于封闭在家里“坐月子”,更希望能够早日上班。今天我带着大家换个思路来聊一个问题...
Spring框架|JdbcTemplate介绍
文章目录一、JdbcTemplate 概述二、创建对象的源码分析三、JdbcTemplate操作<em>数据</em>库 一、JdbcTemplate 概述 在之前的web学习中,学习了手动封装JDBCtemplate,其好处是通过(sql语句+参数)模板化了编程。而真正的JDBCtemplete类,是Spring框架为我们写好的。 它是 Spring 框架中提供的一个对象,是对原始 Jdbc API 对象的简单...
谁说程序员不懂浪漫——我的C语言结婚请柬(附源码)
前言:但行好事,莫问前程——《增广贤文》 从上学起开始学C++,后面也做过H5,现在做Android。无论是学习用的,还是工作用的,上百个软件不止。但最另我骄傲的是,我用程序烂漫了一把。 用C++语言,利用WIN32框架写一个结婚请柬,文末附源码和使用方法,大家可以自行修改,记得帮我点赞哦。 点开程序,你的电脑像中毒一般,漫天的樱花从屏幕上方,伴随着歌声《今天你要嫁给我》,缓缓落下。 ...
为什么说程序员做外包没前途?
之前做过不到3个月的外包,2020的第一天就被释放了,2019年还剩1天,我从外包公司离职了。我就谈谈我个人的看法吧。首先我们定义一下什么是有前途 稳定的工作环境 不错的收入 能够在项目中不断提升自己的技能(ps:非技术上的认知也算) 找下家的时候能找到一份工资更高的工作 如果你目前还年轻,但高不成低不就,只有外包offer,那请往下看。 外包公司你应该...
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合...
终于!疫情之下,第一批企业没能熬住面临倒闭,员工被遣散,没能等来春暖花开!
先来看一个图: 这个春节,我同所有人一样,不仅密切关注这次新型肺炎,还同时关注行业趋势和企业。在家憋了半个月,我选择给自己看书充电。因为在疫情之后,行业竞争会更加加剧,必须做好未雨绸缪,时刻保持充电。 看了今年的情况,突然想到大佬往年经典语录: 马云:未来无业可就,无工可打,无商可务 李彦宏:人工智能时代,有些专业将被淘汰,还没毕业就失业 马化腾:未来3年将大洗牌,迎21世界以来最大失业潮 王...
昂,我24岁了
24岁的程序员,还在未来迷茫,不知道能不能买得起房子
作为程序员的我,大学四年一直自学,全靠这些实用工具和学习网站!
我本人因为高中沉迷于爱情,导致学业荒废,后来高考,毫无疑问进入了一所普普通通的大学,实在惭愧???? 我又是那么好强,现在学历不行,没办法改变的事情了,所以,进入大学开始,我就下定决心,一定要让自己掌握更多的技能,尤其选择了计算机这个行业,一定要多学习技术。 在进入大学学习不久后,我就认清了一个现实:我这个大学的整体教学质量和学习风气,真的一言难尽,懂的人自然知道怎么回事? 怎么办?我该如何更好的提升自...
新来个技术总监,禁止我们使用Lombok!
我有个学弟,在一家小型互联网公司做Java后端开发,最近他们公司新来了一个技术总监,这位技术总监对技术细节很看重,一来公司之后就推出了很多"政策",比如定义了很多开发规范、日志规范、甚至是要求大家统一使用某一款IDE。 但是这些都不是我这个学弟和我吐槽的点,他真正和我吐槽的是,他很不能理解,这位新来的技术总监竟然禁止公司内部所有开发使用Lombok。但是又没给出十分明确的,可以让人信服的理由。 于...
史上最牛逼的 Eclipse 快捷键,提高开发效率!
如果你在使用IDEA,请参考博主另外的一篇idea快捷键的博客。
字节跳动的技术架构
字节跳动创立于2012年3月,到目前仅4年时间。从十几个工程师开始研发,到上百人,再到200余人。产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线。 一、产品背景 今日头条是为用户提供个性化资讯客户端。下面就和大家分享一下当前今日头条的<em>数据</em>(据内部与公开<em>数据</em>综合): 5亿注册用户 2014年5月1.5亿,2015年5月3亿,2016年5月份为5亿。几乎为成倍增长。 ...
在三线城市工作爽吗?
我是一名程序员,从正值青春年华的 24 岁回到三线城市洛阳工作,至今已经 6 年有余。一不小心又暴露了自己的实际年龄,但老读者都知道,我驻颜有术,上次去看房子,业务员肯定地说:“小哥肯定比我小,我今年还不到 24。”我只好强颜欢笑:“你说得对。” 从我拥有记忆到现在进入而立之年,我觉得,我做过最明智的选择有下面三个: 1)高中三年,和一位女同学保持着算不上朋友的冷淡关系;大学半年,把这位女同学追到...
这些插件太强了,Chrome 必装!尤其程序员!
推荐 10 款我自己珍藏的 Chrome 浏览器插件
Java基础知识面试题(2020最新版)
文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法<em>数据</em>类型Java有哪些<em>数据</em>类型switc...
有哪些高质量的自学网站?
分享10个程序员优质自学网站~ 1. Github Github是程序员托管代码的平台,很多开发者都会在上面找各种各样的开源项目来学习。阿里、腾讯、字节跳动、美团、Google、Micosoft等国内外大厂都有自己的Github开源库。 如果你做的东西正好符合一些公司的要求,他们可能会邀请你面试哦~ 2. LintCode LintCode 收集了最常见、最高频的编程题目。相比其他的一些网站,L...
技术大佬:我去,你写的 switch 语句也太老土了吧
昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...
和黑客斗争的 6 天!
互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...
字节跳动面试,问了我乐观锁和悲观锁的AQS、sync和Lock,这个回答让我拿了offer
很多东西都有点忘记了,不过回答总体是没大问题的
Python 批量下载BiliBili视频 打包成软件
B站是一个神奇的地方,有动画、番剧,还有游戏、鬼畜,更有为广大程序猿所喜爱的科技和编程教学视频,课时你也许会为怎么下载保存下这些视频而发愁,我也遇到了这样的烦恼,于是利用强大的Python进行一番探索,实现了3种模式的下载:单个视频下载、多个视频下载和系列视频下载,同时可以选择视频的质量,多个视频下载时使用多线程提高下载效率。本篇博客从项目背景、环境配置、具体实现细节、结果测试和分析等多方面进行分析,但是同时也有很多可以改进的地方。希望这个小项目能为大家使用,但是请不要滥用,给大家带来方便就足矣。
别再自己抠图了,Python用5行代码实现批量抠图
前言 对于会PhotoShop的人来说,弄一张证件照还是非常简单的,但是还是有许多人不会PhotoShop的。今天就给你们带来一个非常简单的方法,用Python快速生成一个证件照,照片的底色随你选。 实现原理 生成证件照的原理非常简单,两步就可以完成。首先我们需要抠图,然后将透明的地方填相应的颜色,按照需求填相应的颜色。 要是之前我对抠图是束手无策的,但是前几天发现了深度学习开发工具PaddleH...
什么?搞Java的你还不会Spring?一篇文章带你掌握
本篇文章将带你掌握Spring框架,满满的干货,内容有点多,希望你能有耐心看完,看完后一定会有所收获。 Spring容器 在SpringIOC容器读取Bean配置创建Bean之前,必须对它进行实例化。只有在容器实例化后,才可以从IOC容器里获取Bean实例并使用。 Spring提供了两种类型的IOC容器实现: BeanFactory:IOC容器的基本实现,是Spring框架的基础设施,面向Spr...
很好的GPRS/GSM模块学习资料(tc35i)(内含AT指令介绍和单片机程序)下载
很好的gprs/GSM模块, 通信专业的同学可能会用的着, 可以和单片机连接 相关下载链接:[url=//download.csdn.net/download/gilbertjuly/1158284?utm_source=bbsseo]//download.csdn.net/download/gilbertjuly/1158284?utm_source=bbsseo[/url]
Imperator FLA下载
可以分解fla文件,将之转化为各个元件,并能分别进行存储和保存,支持的版本是6.0以前版本。 相关下载链接:[url=//download.csdn.net/download/d_li_w/5471677?utm_source=bbsseo]//download.csdn.net/download/d_li_w/5471677?utm_source=bbsseo[/url]
javaBean连接数据库下载
javaBean连接数据库 相关下载链接:[url=//download.csdn.net/download/u010943997/5511129?utm_source=bbsseo]//download.csdn.net/download/u010943997/5511129?utm_source=bbsseo[/url]
我们是很有底线的