Java 爬虫遇到需要登录的网站，该怎么办？

这是 Java 网络爬虫系列博文的第二篇，在上一篇 Java 网络爬虫，就是这么的简单 中，我们简单的学习了一下如何利用 Java 进行网络爬虫。在这一篇中我们将简单的聊一聊在网络爬虫时，遇到需要登录的网站，我们该怎么办？ 在做爬虫时，遇到需要登陆的问题也比较常见，比如写脚本抢票之类的，但凡需要个人信息的都需要登陆，对于这类问题主要有两种解决方式：一种方式是手动设置 cookie ，就是先在网站上...

3分钟内实现人脸检测

人脸检测是人工智能最常见的应用之一。从智能手机的摄像头应用到Facebook的标签建议(Tag Suggestions)，人脸检测的应用每天都在增加。 人脸检测是计算机程序在数字图像中识别和定位人脸的能力。 随着应用对人脸检测功能的需求越来越大，每个人都希望在自己的应用中使用人脸检测，这样他们就不会在竞争中落后。 在这篇文章中，我将教你如何在3<em>分</em>钟内为自己建立一个人脸检测程序。 你需要安装以下p...

SQL 性能优化梳理

前言 本文主要针对的是关系型数据数据库MySql。键值类数据库可以参考： https://www.jianshu.com/p/098a870d83e4 先简单梳理下Mysql的基本概念，然后<em>分</em>创建时和查询时这两个阶段的优化展开。 1 基本概念简述 1.1 逻辑架构 第一层：客户端通过连接服务，将要执行的sql指令传输过来 第二层：服务器解析并优化sql，生成...

JAVA面经整理

一、Java SE ❤1、Java基础 1、一个十进制的数在内存中是怎么存的？ Java支持的数据类型有哪些？什么是自动拆装箱？ int 和 Integer 有什么区别 ? 什么时候使用int 什么时候使用Integer? 2、==比较的是什么？ 3、hashCode()和equals()方法有什么联系？ 为什么重写equals还要重写hashcode? Object若不重写hashCode()的...

Java8 Stream新特性详解及实战

Java8 Stream新特性详解及实战 背景介绍 在阅读Spring Boot源代码时，发现Java 8的新特性已经被广泛使用，如果再不学习Java8的新特性并灵活应用，你可能真的要out了。为此，针对Java8的新特性，会更新一系列的文章，欢迎大家持续关注。 首先，我们来看一下Spring Boot源代码ConfigFileApplicationListener类中的一段代码： private...

简单粗暴上手TensorFlow 2.0，北大学霸力作，必须人手一册！

（图片付费下载自视觉中国） 整理 | 夕颜 出品 | AI科技大本营（ID:rgznai100） 【导读】 TensorFlow 2.0 于近期正式发布后，立即受到学术界与科研界的广泛关注与好评。此前，AI 科技大本营曾特邀专家回顾了 TensorFlow 2.0 从初版到最新版本的发展史。今天，我们将介绍一本全面详解 TensorFlow 2.0 的手册。这本手册是 Go...

git 基本配置和使用

git 基本配置和使用 git 介绍 之前是写过关于git的一些东西的，但是都是使用的过程中遇到的问题，就简单的记录了一下，为了解决问题而写的，没有系统的写过git的东西，今天就简单的先写一下关于git的一些知识，就当是做了一个笔记吧，首先介绍一下git是什么，我们一般听到的最多的就是git是<em>分</em>布式项目管理工具，没有问题，它和svn的区别在于svn是一个中央集权的管理体系，而git则可以让每一台电...

30秒内便能学会的30个超实用Python代码片段

全文共5293字，预计学习时长11<em>分</em>钟许多人在数据科学、机器学习、web开发、脚本编写和自动化等领域中都会使用Python，它是一种十<em>分</em>流行的语言。 ...

不加班的程序员有更多的可能性

阅读本文大概需要 2.8 <em>分</em>钟。不加班的程序员有更多的可能性，为什么这么说呢？最近我发现我的加班次数比前几个月要少了一些，每天保持九点下班，周末尽量不加班，但即使如此，我...

java面试之基础（面试必看）

java基础面试题1.jre，jdk，jvm之间的区别是什么？2.Java中一个char类型是否可以存储一个汉字？3.Java的数据类型？4.自动类型转换规则是什么？5.运算符优先级顺序是什么？6.if和switch选择结构的区别是什么？7.While循环和do while循环的区别是什么？8.break和continue的区别？9.数组使用的步骤？10.类和对象的关系？11.类的开发步骤是什么？...

项目-无侵入代码方式使用Redis实现缓存功能

如何零侵入代码实现接口缓存处理呢？近期有同学问我，怎么使用aop方式用redis为项目接口调用添加缓存，在这里总结整理一下，博文难免会有纰漏，如有问题请评论不吝告知。 在本文章，你会了解到如何使用redis，以及如何通过jedis操作redis通过AOP的方式实现缓存。在文章后面还介绍了AOP的相关知识点，希望对大家有些许帮助~

程序员邂逅鼓励师的正确姿势！

高智商，高收入！外界经常用“双高”形容他们，甚至不看长相，只凭格子衫、双肩包、运动鞋，就可以判断出他们的职业——程序员。 代码改变世界，整天与需求、Bug摩拳擦掌的他们即将迎来他们自己的节日——1024程序员节！ 在这个特殊的节日里，除了呼吁各大公司能给程序员&amp;媛放一天假之外，CSDN Blink小姐姐送来了专属福利！ 只要您在CSDN APP #1024我身边的程序员&amp;媛#话题...

Eclipse快捷键大全

有朋友问idea的，也是有的 链接 Ctrl+1 快速修复(最经典的快捷键) Ctrl+D 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加) Ctrl+Alt+↑ 复制当前行到上一行(复制增加) Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了) Alt+↑ 当前行和上面一行交互位置(同上) Alt+← 前一个编辑的页面 Alt+→ 下一个编辑的页面(当...

我所经历的三次裁员

先从一则新闻说起：人民网旧金山9月19日电(邓圩 宫欣)当地时间9月19日，位于旧金山湾区Menlo Park的Facebook总部内，一名男子从园区内的一栋办公楼4楼跳...

国产数据库激荡 40 年

在被 Oracle、MySQL、DB2 等产品蚕食的中国数据库市场，国产自研数据库如何才能真正崛起？作者 | 唐小引、屠敏封图 | CSDN 付费下载自东方 IC出品 |...

python入门的120个基础练习

python入门的120个基础练习 解决问题的道路上，＂方法＂和＂坚持＂缺一不可。 ------------------------------------------------------------------------------------------ 01-Hello World python的语法逻辑完全靠缩进，建议缩进4个空格。 如果是顶级代码，那么必须顶格书写，哪怕只有一个空格...

操作系统（1）-进程与线程

一、进程和线程的定义 1.进程 我们都知道计算机的核心是CPU，它承担了所有的计算任务，而操作系统是计算机的管理者，它负责任务的调度，资源的<em>分</em>配和管理，统领整个计算机硬件；应用程序是具有某种功能的程序，程序是运行于操作系统之上的。 进程是一个具有一定独立功能的程序在一个数据集上的一次动态执行的过程，是操作系统进行资源<em>分</em>配和调度的一个独立单位，是应用，程序运行的载体。进程是一种抽象的概念，从来...

[网络安全自学篇] 十八.XSS跨站脚本攻击原理及代码攻防演示（一）

这是作者的系列网络安全自学教程，主要是关于网安工具和实践操作的在线笔记，特<em>分</em>享出来与博友共勉，希望您们喜欢，一起进步。前文<em>分</em>享了Python弱口令攻击、自定义字典生成，并构建了Web目录扫描器；本文将详细讲解XSS跨站脚本攻击，从原理、示例、危害到三种常见类型（反射型、存储型、DOM型），并结合代码示例进行详细讲解，最后<em>分</em>享了如何预防XSS攻击。本文参考了爱春秋ADO老师的课程内容，这里也推荐大家观看他Bilibili和ichunqiu的课程，同时也结合了作者之前的编程经验进行讲解。

动画：用动画给面试官解释 TCP 三次握手过程

作者 | 小鹿 来源 | 公众号：小鹿动画学编程 写在前边 TCP 三次握手过程对于面试是必考的一个，所以不但要掌握 TCP 整个握手的过程，其中有些小细节也更受到面试官的青睐。 对于这部<em>分</em>掌握以及 TCP 的四次挥手，小鹿将会以动画的形式呈现给每个人，这样将复杂的知识简单化，理解起来也容易了很多，尤其对于一个初学者来说。 学习导图 一、TCP 是什么？ TCP（Transmissio...

TensorFlow2.0 学习笔记（一）：TensorFlow 2.0 的安装和环境配置以及上手初体验

文章目录一、TensorFlow 概述二、TensorFlow 特性三、TensorFlow 2.0 安装与环境配置 一、TensorFlow 概述 人工智能和深度学习的热潮将 TensorFlow 推向了至高的地位，媒体的追捧和业界的宣传也为这一源自 Google 的开源框架增添了传奇的色彩。Google 发布的 TensorFlow 与 Facebook 发布的 Pytorch 基本上是深度...

通过Java反射获得对象里面的所有字段名以及字段对应的值

通过Java反射获得对象里面的所有字段名以及字段对应的值 public static void test(Bean bean) { Field[] fields = bean.getClass().getDeclaredFields(); for(Field field :fields) { //设置是否允许访问，不是修改原来的访问权限修饰词。 ...

Python爬虫4.1 — threading(多线程)用法教程

Python爬虫4.1 — threading[多线程]用法教程 综述 本系列文档用于对Python爬虫<em>技术</em>的学习进行简单的教程讲解，巩固自己<em>技术</em>知识的同时，万一一不小心又正好对你有用那就更好了。 Python 版本是3.7.4 前面的文章记录了网络请求(urllib,requests)、数据提取(beautiful,xpath,正则)、数据存储(json,csv)的学习，下面进行...

Web前端面经（阿里、字节跳动、腾讯、拼多多）

超级详细的前端面经，整理了很多优质面经，因为自己也要面试，所以整理的很用心，而且持续更新。 要看的去我的github 收藏，因为这里只贴出一部<em>分</em>内容。因为看你们就只是收藏，都不点赞，还不到github去给我打星星⭐⭐⭐ 嘤嘤嘤~ 地址：&nbsp;https://github.com/huyaocode/webKnowledge 建议在 github 上克隆到本地看，因为github访问还是稍微有...

计算机大数乘法引发的思考

国庆假期最后一天，看了小小的一道学而思数学作业： 计算 201×33×707+484×6363201\times 33\times 707+484\times 6363201×33×707+484×6363 我知道肯定是把数字拆开，配合结合律完成一种 “巧算” ，之所以称之为“巧算”，是因为这种算法比通过竖式直接硬算要节省不少步骤。 但我一下子想不到怎么拆解，我也懒得思考，因为我在思考另一件事...

王者荣耀投票爬虫实时票数，严禁用于商业用途

import requests import datetime from openpyxl import load_workbook import time headers = { 'User-Agent': 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, l...

3年长跑，修成正果

文章目录相遇相识相知相恋相守 我和CSDN的故事很短，只有6个字：“人生若如初见”；我和CSDN的故事很长，我要用一生去讲。 相遇 2014年，我在计算机科学与<em>技术</em>这个曾经“万金油”的苦海里苦苦挣扎时，偶然间遇到了CSDN。无论什么问题，她都会耐心的解答。我需要什么材料，她都能给我帮助。在专业领域中，我感觉到她什么都知道。她的亲切、温柔、耐心、博学，还有她的美丽，让我一见钟情。 我自认为自己幸运，...

“==” “equals()” “hashCode()” 傻傻分不清

简介 == 对于基本数据类型 byte、short、char、int、long、float、double，boolean，== 比较的是它们的值；而对于引用类型，如：类、接口、数组等，== 比较的是他们在内存中的存放地址。 equals() 默认情况下，equals 方法是调用 Object 类的 equals 方法，Object 的 equals 方法是用于判断对象的内存地址引用是不是同一个（是...

嗨，地铁上的你累吗？

从年初入职到现在已有近半年时间，每天几乎都要很晚回家，就在昨天晚上看到的地铁一幕，不禁让我感慨一下！ 话说昨天是周五的日子，我提前把工作完成，偷摸地离开公司乘坐地铁回家。在地铁上像往常一样，打开手机浏览下微博，看了下数据<em>分</em>析相关的视频，然后坐在地铁上眯了一会（不用站着美滋滋啊）。在我没睡着前，从打铁关站上来了一位女生，女生长得什么样子我是不记得了，只记得她手里拿了一个尼...

Python 爬虫（四）：Selenium 框架

Selenium 介绍与基本使用，实现登录 163 邮箱。

Java8 Lambda表达式详解手册及实例

先贩卖一下焦虑，Java8发于2014年3月18日，距离现在已经快6年了，如果你对Java8的新特性还没有应用，甚至还一无所知，那你真得关注公众号“程序新视界”，好好系列的学习一下Java8的新特性。Lambda表达式已经在新框架中普通使用了，如果你对Lambda还一无所知，真得认真学习一下本篇文章了。 现在进入正题Java8的Lambda，首先看一下发音 ([ˈlæmdə])表达式。注意该词的发...

流式布局(百分比布局)

流式布局 布局特征: 高度写死，宽度自适应。并不是百<em>分</em>百还原设计图 比如：设计图是针对320px屏幕设计的，那么只有在320设备的屏幕中，才是完美的效果，其他情况都会拉伸 小图片、小图标、文字大小一般写死 大图片一般宽度自适应，高度等比例缩放(例如:轮播图) 经典的流式布局： 左侧固定，右侧自适应 方法有很多种,简单例举3种。 //html结构如下: &lt;div c...

失败程序员的十年总结

十年到底有多长？当我回顾过去的十年，发现好短，可以讲的事情没有几件，而且都是坏事；当我畅想未来的十年，感觉又好长，不知道路怎么走。

多线程之死锁详解

一、什么是死锁 当两个或两个以上的线程在执行过程中，因为争夺资源而造成的一种相互等待的状态，由于存在一种环路的锁依赖关系而永远地等待下去，如果没有外部干涉，他们将永远等待下去，此时的这个状态称之为死锁。 经典的 “哲学家进餐” 问题很好地描述了死锁状况： 5个哲学家去吃中餐，坐在一张圆桌旁，他们有5根筷子(而不是5双)，并且每两个人中间放一根筷子，哲学家们要么在思考，要么 在进餐，每个人都需...

Webpack自动化构建工具

Webpack 第一步 .安装node.js 1.安装淘宝镜像(可选) npm install -g cnpm --registry=https://registry.npm.taobao.org 2.检查node-v 安装教程：https://jingyan.baidu.com/article/48b37f8dd141b41a646488bc.html 3.检查npm-v 第二步 搭建webp...

JS实现灯泡开关特效

JS实现灯泡开关特效 并且显示时间，文字 首先准备两张图片：开灯ON.jpg：关灯OFF.jpg 效果图： 下面是具体实现代码： HTML： &lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;meta charset="utf-8" /&gt; &lt;title&gt;开关灯特效&lt;/title&gt; &lt;link ...

shiro身份认证盐加密

目录shiro认证，盐加密 shiro认证，盐加密 今天整合ssm和shiro，完成登录、注册的密码加密 首先一样需要导入pom依赖 &lt;dependency&gt; &lt;groupId&gt;org.apache.shiro&lt;/groupId&gt; &lt;artifactId&gt;shiro-core&lt;/artifactId&gt; &lt;ve...

深入理解 Java 虚拟机（四）~ 各种容易混淆的常量池

本文详细介绍了 Java 中的常量和字面量的区别，字节码中的常量池和运行时常量池的区别，最后详细介绍了字符串常量池和 String.intern 方法

SpringBoot-定时任务

在我们实际开发项目的过程中,经常需要定时任务来帮我们做一些事情，例如每隔一小时统计新注册的用户数量、每天凌晨一点进行服务器缓存清理、每周五统计购买会员的用户数量等。 SpringBoot在2.0版本之后,提供了非常方便的注解方式来编写定时任务程序，无需添加任何配置文件和依赖关系，快速构建一个SpringBoot项目，添加注解如下： @SpringBootApplication @EnableSch...

硬核动图让你轻松弄懂递归，查找等概念

对于大部<em>分</em>人，数据结构一直是一个短板，当然我也是，不是学不会，而是容易忘，就拿最简单的排序来说吧，当时学习的时候明明已经弄得很清楚了，过了一段时间不用又忘记了，还要重新再看一遍，不知道有多少小伙伴和我有一样的烦恼。今天让我们用用动图的方式学习一下数据结构中的递归和二<em>分</em>查找吧，这种讲解方式非常生动，而且非常容易记住和理解。 一、递归 1.概念 递归简单的来说就是程序自己调用自己，就...

可视化越做越丑？这五个高级图表效果能瞬间抬升你的逼格

今天我们来说一说数据可视化，想必很多人在入门数据<em>分</em>析之后，就会经常进行可视化的工作，所谓一图胜千言，图表用的好，真的是会事半功倍的。但现实情况下，很多人遇到的问题是： 你做的图表太丑了？你做的图表到底想表达什么？图表太多，该用哪一个更好呢？ 很多人看着下面这些高级上档次的数据可视化都觉得羡慕，但是到自己动手的时候又不知从何下手，或者实现难度太大，只能“望图兴叹”。 其实我...

Java8新特性时间日期库DateTime API及示例

Java8新特性的功能已经更新了不少篇幅了，今天重点讲解时间日期库中DateTime相关处理。同样的，如果你现在依旧在项目中使用传统Date、Calendar和SimpleDateFormat等API来处理日期相关操作，这篇文章你一定不要错过。来刷新你的知识库吧！ 背景 Java对日期、日历及时间的处理一直以来都饱受诟病，比如java.util.Date和java.util.Calendar类易用...

Java集合

Java集合 List 有序（输出的顺序与添加的顺序一致）、元素可以重复 ArrayList：查找速度快 LinkedList：添加删除速度快 示例1： public static void main(String[] args) { //面向接口编程 //接口变量指向实现类的对象 //将实现类的对象赋值给接口类型的变量 List&lt;String&gt; ...

做技术，35岁，你慌了吗

35岁，是互联网从业者，尤其是程序员的一道坎。在“996”盛行的互联网行业，受欢迎的永远是28岁左右精力无限的年轻人。你不会永远年轻，但永远有人年轻。 当你年纪大了，熬不了夜了，加不了班了，还能吃得了这碗“青春饭”吗？于是很多30岁左右的程序员都在焦虑一个问题：35岁后的出路在哪里？ 的确，随着年龄的增大，还有最近两年互联网的不景气，越来越多的人开始“方”了。或许，正如网上的段子所言：送快递，开...

惊！女装大佬项目登 GitHub Top 1！

整理 | 伍杏玲出品 | 程序人生（ID：coder_life）昨天，GitHub 热榜第一竟是“Dress”项目！今天小编看了下，该项目仍在热榜的第三位。没错，Dres...

5G 芯片的“春秋五霸”

AI芯片总体上呈现出“百花齐放、百家争鸣”的格局，但5G芯片却大相径庭，能够推出5G手机基带芯片的厂商只有华为/联发科/高通/展讯/三星五家，这“五霸”谁才是霸中之霸，在5G时代还不好说。 作者 | 吴军宁 本文经授权转载自财经十一人（ID:caijingEleven） 在中国历史的春秋时期，随着周王室势微，一些实力强大的诸侯国之间合纵连横、东征西讨，形成了春秋时期特定的历史产物——春秋五霸。...

未来五年，物联网将迎来什么样的蜕变？

物联网发展迅速，未来人们的日常需求将不再只是连接计算机和智能手机。 作者 | Mehavarunan 译者 | 风车云马，责编 | 屠敏 出品 | CSDN（ID：CSDNnews） 以下为译文： 物联网(IOT)是一个互联对象的网络，可以收集和交换数据。 如今物联网发展迅速，未来人们的日常需求将依赖于物联网。它不再只是连接电脑和智能手机。我们日常生活中使用的很多设备都需要物联网来提供服务。 ...

Linux 给我的七个宝贵教训

在日常使用过程中，作为时下主流操作系统之一的 Linux，还存在哪些坑？以及从它的应用过程中，我们还可以挖掘出哪些鲜为人知的奥秘？作者 |Nebojsa.todorov...

成长的第一步是走出舒适区

阅读本文大概需要 2.8 <em>分</em>钟。在温室里呆习惯了，就很难去适应室外环境，在一个圈子呆久了，就会把一切都会当成是理所当然，不想再去适应第二个圈子，即使他们可能更好。很多人觉...

出名要趁早！

出名要趁早，很多人都听过，但具体的意思不知道大家有没有思考过。除了出名以外，很多事情都要趁早，比如恋爱、买房、买车、事业。拿恋爱来说，初中高中叫早恋，大学叫恋爱，30岁应...

记录一次九月份腾讯 Android 面试笔试总结（面试题详细答案解析）

今天把之前九月份腾讯面试笔试题目整理出来给大家<em>分</em>享<em>分</em>享，还附上了我自己的一些答案解析，给大家参考下，希望能对大家有帮助。 面试题目录 Activity中的几种启动模式 Android消息机制 IntentService 事件<em>分</em>发 Android性能优化、内存优化 内存优化 View的绘制 Eventbus原理 Rxjava的操作符有哪些，说说他们的作用 线程锁 锁方法...

HashMap源码解读（jdk1.8）

HashMap基于jdk1.8的源码解读，还有挺多内容没有挖掘，应对面试应该没多大问题的，有时间再更新。

linux和windows版本的tomcat和jetty下载

本压缩包包含了不同平台——windows以及linux最新的tomcat版本，（包含：tomcat-5.5.36、tomcat-6.0.37、tomcat-7.0.47）。 和jetty-distribution-9.0.6.v20130930。 供java web开发人员去下载 相关下载链接：[url=//download.csdn.net/download/suhuanzheng7784877/6511581?utm_source=bbsseo]//download.csdn.net/download/suhuanzheng7784877/6511581?utm_source=bbsseo[/url]

三星屏(Samsung)下载

三星屏(Samsung) 文件 烧录文件 相关下载链接：[url=//download.csdn.net/download/tianjinhgtxw/3520858?utm_source=bbsseo]//download.csdn.net/download/tianjinhgtxw/3520858?utm_source=bbsseo[/url]

LabView宝典课件PPT下载

LabView宝典课件PPT 包括陈树学所写的《LabView宝典》一书所有的PPT课件 相关下载链接：[url=//download.csdn.net/download/dongxuanfei/5803991?utm_source=bbsseo]//download.csdn.net/download/dongxuanfei/5803991?utm_source=bbsseo[/url]

相关热词 c#可被js调用的函数 c# 日志文件 c# mvc中间件 c#爬虫路径中文件名过长 c# mutex 延时 c# mysql 功能码 c# 多态 封装 c# 校园一卡通接口 c#本地帮助文档 c#两个table左联接