关于大数据量的表的联合查询-CSDN论坛

CSDN论坛 > Oracle > 高级技术

关于大数据量的表的联合查询 [问题点数：40分，结帖人belovedmilan]

一键查看最优答案

确认一键查看最优答案？

本功能为VIP专享，开通VIP获取答案速率将提升10倍哦！

取消

开通vip会员

⋅生产环境Hadoop集群搭建 ⋅在Eclipse上连接hadoop的配置 ⋅在spark中如果计算关系数据库中的数据 更多帖子 关注私信空间博客 弹指神通 本版专家分：25 结帖率 100%: 1、现在有两张表，
一张表为资产（资产代码，A代码，B代码，C代码），
另一张为关系表（子类型，子代码，父类型，父代码），
关系表里面存了所有资产之间的关系。两张表的数据量差不多，大约都有一百万条数据左右，估计表里面内容的变动不会很频繁。
2、现在要做的事情是根据资产表的资产代码到关系表去查该资产的A，B，C代码。
3、我目前的做法是根据资产代码到关系表去查他的其他ABC代码，因为是树形结构的关系，所以并不是直接在关系表中就可以找到需要的结果，而是要根据资产代码到关系表里面去查的父亲或者祖先相应的A,B,C代码。写了一个存储过程，根据每一行的资产代码到关系表去查。因为查询的关系表太大，目前这个存储过程的耗时完全无法接受。请问大家有什么好的建议吗？刚接触到这么大量的数据，完全没有经验，请大家帮忙啊！

0 2013-10-17 21:06:54

回复数 5 只看楼主引用举报楼主

zmn0079 本版专家分：290: 第一索引必不可少
第二使用start with 和 connect by

0 2013-10-17 22:52:40

只看TA 引用举报 #1 得分 30

mysql 联表查询 100w+数据优化产生原因闲来无事，使用vue封装了个table组件，封装完成后想测试下，数据量小的情况下，能迅速展现数据，数据上了100w后，直接超时，结果一步步排查，发现是sql查询的问题场景回顾使用表：订单表 order （100w+），商品表goods （100+），用户表 user （100+）未优化前sql查询语句：SELECT o.order_id, u.username,g.title,g. ...

⋅生产环境Hadoop集群搭建 ⋅在Eclipse上连接hadoop的配置 ⋅在spark中如果计算关系数据库中的数据 更多帖子 关注私信空间博客 弹指神通 本版专家分：25: 引用 1 楼 u012174761 的回复:
第一索引必不可少
第二使用start with 和 connect by

谢谢！目前就是使用START WITH语句去查树形结构的东西。。。因为之前是在ETL中调用数据库函数，每一条数据调用一次，根据资产编号到关系表去查。感觉这样效率实在是很低下。有什么建议吗？是应该在ETL做完之后，统一对数据进行UPDATE，还是其他的方法？

0 2013-10-17 23:35:43

只看TA 引用举报 #2 得分 0

两个大表的关联查询问题-如何提高效率现在有两个表，都有10万条记录 A表 -------------------- id name age sex B表 ----------------------- id address phone

⋅此用户还没有发表过任何帖子 关注私信空间博客 zmn0079 本版专家分：290: 引用 2 楼 belovedmilan 的回复:
Quote: 引用 1 楼 u012174761 的回复:

第一索引必不可少
第二使用start with 和 connect by

谢谢！目前就是使用START WITH语句去查树形结构的东西。。。因为之前是在ETL中调用数据库函数，每一条数据调用一次，根据资产编号到关系表去查。感觉这样效率实在是很低下。有什么建议吗？是应该在ETL做完之后，统一对数据进行UPDATE，还是其他的方法？

怎么又有了函数和update，和一开始的需求不一样啊，老板！

只说查询的话，实际上直接连表查询就行了
update应该也可以连表进行
函数是用来干什么的？

0 2013-10-18 11:12:23

只看TA 引用举报 #3 得分 10

大数据量的表关联筛选数据，如何优化 A,B,C,D,E,F一共6张表。 1.通过abcd关联查询获取表获取到30w数据 2.通过ef获取到了20w数据 3.如果从30w的数据包含了20w数据，如果通过sql获取到不相同的10w的数据。

⋅生产环境Hadoop集群搭建 ⋅在Eclipse上连接hadoop的配置 ⋅在spark中如果计算关系数据库中的数据 更多帖子 关注私信空间博客 弹指神通 本版专家分：25: 引用 3 楼 u012174761 的回复:
Quote: 引用 2 楼 belovedmilan 的回复:

Quote: 引用 1 楼 u012174761 的回复:

第一索引必不可少
第二使用start with 和 connect by

谢谢！目前就是使用START WITH语句去查树形结构的东西。。。因为之前是在ETL中调用数据库函数，每一条数据调用一次，根据资产编号到关系表去查。感觉这样效率实在是很低下。有什么建议吗？是应该在ETL做完之后，统一对数据进行UPDATE，还是其他的方法？

怎么又有了函数和update，和一开始的需求不一样啊，老板！

只说查询的话，实际上直接连表查询就行了
update应该也可以连表进行
函数是用来干什么的？

函数就是到关系表去查数据的，根据查到的数据进行update，这算不算联合查询？貌似有点牵强，可能不算查询，但是UPDATE却是跟查询的结果有关，主要是去查的这个表太大。

0 2013-10-18 11:37:30

只看TA 引用举报 #4 得分 0

MYSQL一次千万级连表查询优化（一）概述：交代一下背景，这算是一次项目经验吧，属于公司一个已上线平台的功能，这算是离职人员挖下的坑，随着数据越来越多，原本的SQL查询变得越来越慢，用户体验特别差，因此SQL优化任务交到了我手上。这个SQL查询关联两个数据表，一个是攻击IP用户表主要是记录IP的信息，如第一次攻击时间，地址，IP等等，一个是IP攻击次数表主要是记录每天IP攻击次数。而需求是获取某天攻击IP信息和次数。（以下SQL...

⋅生产环境Hadoop集群搭建 ⋅在Eclipse上连接hadoop的配置 ⋅在spark中如果计算关系数据库中的数据 更多帖子 关注私信空间博客 弹指神通 本版专家分：25: 目前已经有一些改进了，我对两个表的查询条件加了索引，用游标对事实表的数据进行遍历。初次建立这些关系的时候大概差不多半个小时，但以后的更新都是增量更新，应该问题不大。
多谢各位！

0 2013-10-18 11:39:19

只看TA 引用举报 #5 得分 0

收藏帖子

大量大数据如何进行查询: 1.两种查询引擎查询速度（myIsam 引擎） InnoDB 中不保存表的具体行数，也就是说，执行select count(*) from table时，InnoDB要扫描一遍整个表来计算有多少行。 MyISAM只要简单的读出保存好的行数即可。注意的是，当count(*)语句包含 where条件时，两种表的操作有些不同，InnoDB类型的表用count(*)或者count(主键)，加上w...

两张表联合查询，并统计其中一张表在关联条件下的数据个数: select a.dfsname, count(b.dfsid) as instnum from tbl_dfslist a left join tbl_instance b on a.id = b.dfsid group by a.id; （其中tbl_dfslist.id = tbl_instance.dfsid）

大数据量关联查询，速度极慢，请问如何优化: 表: testmobile（数量：88W条）字段： DROP TABLE IF EXISTS `testmobile`; CREATE TABLE `testmobile` ( `mobile` v

大数据多表联合查询: 2019独角兽企业重金招聘Python工程师标准>>> ...

百万级数据表查询速度过慢: 我有这样一张数据表，结构如下： CREATE TABLE IF NOT EXISTS AlarmInfo( Guid VARCHAR(50) PRIMARY KEY NOT NULL ,DBM VAR

数据量极大多表关联查询慢解决方案（除了优化表/sql以外的方案）: 数据极大，导致多表关联查询数据慢。优先选用最直接有效的办法就是增加索引/优化sql/优化表结构（网上有很多）当使用sql优化无法解决慢的问题，可以考虑一下方案方案一：使用 Elasticsearch，把查询结果导入到 Elasticsearch 一种增量实时同步，每次更新都同时更新Elasticsearch中的数据，另一种全量，每间隔一段时间同步到Elasti...

大数据表关联查询效率慢的问题: 问题描述： 1）XX_PC_PRO_WELL_DAILY a 此表有680万条数据，在prod_date字段上有索引，但查询时走的是全表查询；加上between and的时间条件后的数据为 230多

大数据量查询: 2019独角兽企业重金招聘Python工程师标准>>> ...

求助-探讨:在数据量稍大(几十万条级别)的情况下,联表查询/子查询/用PHP逐步分析结果多次单表查询的优劣与选择: 先说说我现在这个项目的情况主表40W条记录,大部分与之关联的查询都会比较慢(3秒以上).主键索引. 如果有用到子查询,执行甚至会超时(30秒),或者长达10多秒. 现在我用PHP将每一步查询结果分析

多次查询与关联查询讲解: A,B两个表数据规模十几万，数据规模都不大，单机MySQL够用了，在单机的基础上要关联两表的数据，先说一个极端情况，A,B两个表都没有索引，并且关联是笛卡尔积，那关联结果会爆炸式增长，可能到亿级别，这个时候网络IO成了瓶颈，这个时候两次十万行结果集的拉去可能远小于1次亿级别的结果集的拉取，那么将关联合并拉到service层做更快。但实际业务中一般不会有这么蠢的行为，一般关联会有连接条件，并且...

笛卡尔积数据处理问题,求大神指导: 表结构：tableName（cgi,lo,la,derection,city） SQL: SELECT t1.cgi AS s_cgi, t1.lo AS s_lo, t1.derection AS s_derection, t2.cgi AS t_cgi, t2.lo AS t_lo, t2.derection AS t_derection FROM tableName t1, tableName t2 WHERE t1.city = 'GZ' AND t2.city = 'GZ' 我确实是需要这样的结果。这样的语句在数据很大的时候木有性能可言，原表8000条数据都要查好几个小时，请大神指导，整一个速度有很大提升法子，主要在数据端处理，PostgreSQL。求解决方案！！！！！！虽说没有什么分，但是还是想跟大学学习下多谢!

大数据表之间join 的优化: 我最近在做个查询报表，查询速度特别慢，大致是 select * from a join b on b.c1=a.c1 join c on c.c2=b.c2 where （筛选a） 表a特别大，有2K

mysql为什么不推荐在大数据量的情况下使用join连接查询: mysql为什么不推荐在大数据量的情况下使用join连接查询？这个问题涉及到join的原理，mysql在做关联查询时使用到了相关表的‘笛卡尔积’结果集，不知道笛卡尔积的话可先行google。具体过程如下 1.先确定数据要用到哪些表。 2.将多个表先通过笛卡尔积变成一个表。 3.然后去除不符合逻辑的数据（根据两个表的关系去掉）。 4.最后当做是一个虚拟表一样来加上条件即可。例如两个10w级别...

sql大数据自关联查询优化: 1. 一张表a，字段有date（日期），city（城市），area（区域），cl（期初人口数量），ml（期末人口数量），zl（增加的人口数量） 2. 只有当天zl有变动的时候才会有数据，如果不变动，则当天不记录 3. 表内容示例： 4. date city area cl ml zl 5. 2018-05-01 cc1 a11 100 99 -1 6. 2018-05-02 cc1 a12 200 205 5 7. 2018-05-02 cc2 a21 50 100 50 8. 2018-05-03 cc1 a11 99 140 51 9. 要查每一个区域的一定时间范围内的期初数量和期末数量，例：查2018-05-01至2018-05-03，cc1-a11的期初是100.期末是140，cc1-a12的期初是200，期末是205，cc2-a21的期初是50，期末是100 10. 找到两种方式查期初和期末：一是取最小日期和最大日期所在的日期，据日期取找值；二是自关联。目前因为数据量到2千万，查询速度很慢，寻找优化方案 11. 在线等，着急，谢谢！

MySQL数据库多表联合查询: select info.* from depart as d LEFT JOIN info_sys as info on d.id = info.dept_name left join grade g on info.id = g.sysinfo_id left join matarial m on g.id = m.grade_id where d.detail_address='详细地址...

mysql两表联合查询的四种情况: 一般来说，我们为了得到更完整的结果，我们需要从两个或更多的表中获取结果，我一般都是用select xxx,xxx from 表1，表2 where 表1.xxx=表2.xxx,我们一般都是进行的是这般的操作，其实mysql中还有一种操作，那就是join的操作，例如底下有两个表: 请看 "Persons" 表： Id_P LastName FirstName Address ...

数据量较大时的多表关联问题: 先看一下问题，请对比下面两条sql语句，哪种写法更合适？正常情况下我们自然的会写成下面一种，但是当I,J两个表数据量比较大的时候第一种效率要高一点，因为可以在关联A表前筛选掉一部分数据。印象中sql编译器是能自动优化的，但是这种情况下好像没起作用。最后给出建议：数据量大的表尽量不要进行多表关联，关联的表越多，走索引的概率越小。如果数据架构设计不合理，非要一次性从多个大表里面那数...

一起来学大数据｜数据库多表关联操作: 上篇文章我们学习对数据的单表操作，我们现在看数据库中的多表关联操作。很多时候我们的数据是单独分开存储的，这时候我们就需要多张表连接起来去去获取我们想要的数据。外键约束在多表操作时，每张表与另外的表之间的关系有一个对一个，有一个对多个，也有多个对多个的关系，而这些表之间的关系西哟啊通过外键来维护。外键也就是相当于我们所说的关系。特征如下：外键必须是另外的一张表或者自身表的主键的值，换句话说就是你在你...

大数据量查询优化: 参考博客参考这两篇博客点这里还有这里个人总结以及反思里面比较有意思的是索引外置，从而减少去每张表反复查索引，也不受单表数据量的影响性能这里涉及两个概念：正排索引，倒排索引按照大佬的解释：正排索引一篇文章拆分成多个词语，会存储成Map<url,List<detail>>，作用：方便我们通过文章id查询分词倒排索引根据词语去查找u...

Oracle对于多个大表关联操作如何优化速度？: 首先要建立适当的索引。sql在索引字段不要加函数，保证索引起效。如果是复合索引注意在sql的顺序。如果已经存在索引，建议你先重建索引先，因为大数据表的索引维护到了一个阶段就是乱的，一般建议重建。建立好的一般可以获得几十倍的速度提升。最大数据量的表放在最前，最小的表放在最后面。sql是从最后面开始反向解析的。其次是要把最有效缩小范围的条件放到sql末尾去。尤其是主键或者索引字段的条件。保证你sq

查询数据量大时，你会选择关联表查询还是循环中依个查询？: 在平时的开发中，涉及多表数据联合查询时，一般我都会想当然的Inner Join、Left Join，也经常出现数据量一大查询就特别慢的问题。刚开始还没在意，想当然的以为，数量大了，查询慢是正常的。可又想了一下，对于MSSQL来说，40多万也不算很大啊。。。今天突然想了下，如果不关联表，而是在循环中，需要时再查询数据库，获取其他表的数据。以我目前对SQL的理解...

关于mysql高效的大表关联查找问题: 1、表 a 是一列数字, 50 W 的记录量： 2 5 12 14 17 2、表 b 有 5列，1200W 的记录量，字段分别是 表 a 的start范围、表 a 的end范围, col3, col

如何应付表数据过大的查询问题?(如何尽量避免大表关联): 一般来说,对于做B/S架构的朋友来说,更有机会遇到高并发的数据库访问情况,因为现在WEB的普及速度就像火箭升空,同时就会因为高访问量带来一系列性能问题,而数据库一直是用户与商人之间交流的重要平台.用户是没有耐心忍受一个查询需要用上10秒以上的，或者更少些，如果经常出现服务器死机或者是报查询超时，我想那将是失败的项目。做了几年的WEB工作,不才,一直没有遇到过大访问量或者是海量数...

大表关联小表: 当一个大表和一个或多个小表做join时，可以使用mapjoin，性能比普通的join要快很多。 mapjoin的基本原理是：在小数据量情况下，SQL会将用户指定的小表全部加载到执行join操作的程序的内存中，从而加快join的执行速度。需要注意，使用mapjoin时： left outer join的左表必须是大表； right outer join的右表必须是大表； inner join左表...

如何做大表和大表的关联？: 如何做大表和大表的关联？对于大表和大表的关联： 1.reducejoin可以解决关联问题，但不完美，有数据倾斜的可能，如前所述。 2.思路：将其中一个大表进行切分，成多个小表再进行关联。 package com; import org.apache.commons.lang.StringUtils; import org.apache.hadoop.io.LongWritable; import...

多表联合查询速度巨慢解决办法之一: 在实际工作当中,有一次碰到了多表联合查询但两分钟才出来结果,但A表和B表都不算大,A表只有五万多条数据,B表只有两万条数据,从中查出符合条件的数据并不需耗时那么长.最后经组长指导才发现A表没有建立索引,最后用CREATE INDEX 索引名 ON 表名(字段名) 为A表添加了一个普通索引之后才解决了问题. 对索引的解释,我觉得 http://w

一段sql优化问题，查询速度过慢，特别是数据量大的时候: select count(1) count from (SELECT BPD.BPD_INSTANCE_ID AS INSTANCEID, a.reason, a.applytype, a.creat

mysql千万级大数据SQL查询优化: 1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：select id fro

大数据表的查询优化方案: 转载自：http://www.2cto.com/database/201411/348519.html 如果有一张大表，表中的数据有几百万、几千万甚至上亿，要实现实时查询，查询的结果要在十秒钟之内出来，怎么办？如何做优化? 本人现在做的项目中，有个表的数据超过1千万行，超过3G的数据。现在需要对表中的数据进行查询统计，之前由于没做优化，导致此表的查询效率非常低下，让使用者非

2个表的left join怎么写 ,数据量比较大(50分求解): 表A 字段A 1 A1 2 A2 3 A3 4 A4 5 A5 6 A6 7 A7 表B 字段A 1 A1 2 A2 3 A3 4 A4 5 A5 6 A6 7 B7 <--------这个匹配表A字

大数据量表关联查询优化问题？在线等!!: 现有两个表：表A，表B 表A：SID 自增一 BID …………………… 20个字段主键：SID，BID 表B：ID 自增一 CID BID NOTE 主键：ID 索引：BID，CID 表A的数据量为

大数据表查询优化: 1：索引，我们最先想到的就是创建索引，创建索引可以成倍的提升查询的效率，节省时间。但是如果数据量太过于巨大的时候，这个时候单纯的创建索引是无济于事的，我们知道假如特别是在大数据量中统计查询，就拿1000W数据来说吧，如果使用count函数的话，最少要50-100秒以上，当然如果你的服务器配置够高，处理够快，或许会少很多但是一样会超过10秒。单纯的建立索引是无济于事的。我们可以在创建索引的时候给索...

多表连接查询: 本文主要列举两张和三张表来讲述多表连接查询。新建两张表： 表1：student 截图如下： 表2：course 截图如下：（此时这样建表只是为了演示连接SQL语句，当然实际开发中我们不会这样建表，实际开发中这两个表会有自己不同的主键。）一、外连接外连接可分为：左连接、右连接、完全外连接。 1、左连接 left join 或 left outer join SQL语...

大数据量查询优化——数据库设计、SQL语句、JAVA编码: 数据库设计方面： 1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描。如： select id from t where num is null 可以在num上设置默

oracle 大数据表关联查询: 现在有四个大表关联查询： SELECT base.POLICY_NO policyNo FROM T_POLICY_BASE base, T_POLICY_VEHICLE a, t_vehicle v

oracle大表关联怎样优化: oracle两张大表table1 和table2数据量都在5000万左右。两张表均有a,b,c三个字段，并通过这三个字段关联 查询的sql语句如下 SELECT A.XX FROM TABLE1 A

5000w+大表的关联查询，速度奇慢，请SQL高手帮忙看！: 查询速度很慢，查询语句如下： SELECT a.stockid , b.freq , d.vwap , a.exdate, a.comp , c.methodid - 6000000 , c.nums

20亿与20亿表关联优化方法(超级大表与超级大表join优化方法): 记得5年前遇到一个SQL，就是一个简单的两表关联，SQL跑了差不多一天一夜，这两个表都非常巨大，每个表都有几十个G，数据量每个表有20多亿，表的字段也特别多。相信大家也知道SQL慢在哪里了，单个进程的PGA 是绝对放不下几十个G的数据，这就会导致消耗大量temp tablespace，SQL慢就是慢在temp来回来回来回...的读写数据。遇到这种超级大表与超级大表怎么优化呢？这篇文章将告诉你答案。

超大表关联的优化方法: 但随着数据量多了，表之间的关联效率就开始差强人意了。我们今天模拟一下两个大表之间关联的优化，核心思想是分表。

oracle的EXISTS解决大表和小表的联合查询: 几个数据量比较大的表跟一个数据量很小的表的联合查询方法一：select * from tableA a,tableB b where a.aa = b.aa;这种方法是最简单的写法，其中表A数量大，大表，表B示小表方法二：select * from tableB b where b.aa in(select a.aa from tableA a);大表和小表联合查询，应该将小表作为主表主表是b表，...

大表关联查询的效率问题求教: 有两个百万级的大表a,b，现在需要关联两个表查询是否存在满足条件的记录，我的sql如下： select count(a.id) from a,b where a.id=b.id and ... 当满足

sql多表关联查询使用JOIN..ON与where的优化场景: 1.首先先建立两个表create table table1( mon varchar2(14), dep number(4), yj number(4))insert into table1 values ('一月份',1,10);insert into table1 values ('一月份',2,10);insert into table1 values ('一月份',3,5);inse...

终于明白阿里百度这样的大公司，为什么面试经常拿ThreadLocal考验求职者了: 点击上面↑「爱开发」关注我们每晚10点，捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类，各个线程都拥有一份线程私有的数

《奇巧淫技》系列-python！！每天早上八点自动发送天气预报邮件到QQ邮箱: 此博客仅为我业余记录文章所用，发布到此，仅供网友阅读参考，如有侵权，请通知我，我会删掉。补充有不少读者留言说本文章没有用，因为天气预报直接打开手机就可以收到了，为何要多此一举发送到邮箱呢！！！那我在这里只能说：因为你没用，所以你没用！！！这里主要介绍的是思路，不是天气预报！不是天气预报！！不是天气预报！！！天气预报只是用于举例。请各位不要再刚了！！！下面是我会用到的两个场景：每日下

面试官问我：什么是消息队列？什么场景需要他？用了会出现什么问题？: 你知道的越多，你不知道的越多点赞再看，养成习惯 GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式，欢迎Star和完善前言消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。作为一个在互联网公司面一次拿一次Offer的面霸，打败了无数

8年经验面试官详解 Java 面试秘诀: 作者 | 胡书敏责编 | 刘静出品 | CSDN（ID：CSDNnews）本人目前在一家知名外企担任架构师，而且最近八年来，在多家外企和互联网公司担任Java技术面试官，前后累计面试了有两三百位候选人。在本文里，就将结合本人的面试经验，针对Java初学者、Java初级开发和Java开发，给出若干准备简历和准备面试的建议。 Java程序员准备和投递简历的实

究竟你适不适合买Mac？: 我清晰的记得，刚买的macbook pro回到家，开机后第一件事情，就是上了淘宝网，花了500元钱，找了一个上门维修电脑的师傅，上门给我装了一个windows系统。。。。。。 表砍我。。。当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。已经有好几个朋友问我mba怎么样了，所以今天尽量客观

MyBatis研习录(01)——MyBatis概述与入门: C语言自学完备手册(33篇) Android多分辨率适配框架 JavaWeb核心技术系列教程 HTML5前端开发实战系列教程 MySQL数据库实操教程(35篇图文版) 推翻自己和过往——自定义View系列教程(10篇) 走出思维困境，踏上精进之路——Android开发进阶精华录讲给Android程序员看的前端系列教程(40集免费视频教程+源码) 版权声明本文原创作者：谷哥的小弟作者博客

程序员一般通过什么途径接私活？: 二哥，你好，我想知道一般程序猿都如何接私活，我也想接，能告诉我一些方法吗？上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”，还有很多读者问过我类似这样的问题。我接的私活不算多，挣到的钱也没有多少，加起来不到 20W。说实话，这个数目说出来我是有点心虚的，毕竟太少了，大家轻喷。但我想，恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉，我也算是有经验的人了。唾弃接私活、做外

Python爬虫爬取淘宝，京东商品信息: 小编是一个理科生，不善长说一些废话。简单介绍下原理然后直接上代码。使用的工具（Python+pycharm2019.3+selenium+xpath+chromedriver）其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/

阿里程序员写了一个新手都写不出的低级bug，被骂惨了。: 你知道的越多，你不知道的越多点赞再看，养成习惯本文 GitHub https://github.com/JavaFamily 已收录，有一线大厂面试点思维导图，也整理了很多我的文档，欢迎Star和完善，大家面试可以参照考点复习，希望我们一起有点东西。前前言为啥今天有个前前言呢？因为你们的丙丙啊，昨天有牌面了哟，直接被微信官方推荐，知乎推荐，也就仅仅是还行吧（心里乐开花）

Java工作4年来应聘要16K最后没要,细节如下。。。: 前奏：今天2B哥和大家分享一位前几天面试的一位应聘者，工作4年26岁，统招本科。以下就是他的简历和面试情况。基本情况：专业技能： 1、 熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、 熟悉常用项目管理工具：SVN、GIT、MAVEN、Jenkins 3、 熟悉Nginx、tomca

Python爬虫精简步骤1 获取数据: 爬虫的工作分为四步： 1.获取数据。爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。 2.解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。 3.提取数据。爬虫程序再从中提取出我们需要的数据。 4.储存数据。爬虫程序把这些有用的数据保存起来，便于你日后的使用和分析。这一篇的内容就是：获取数据。首先，我们将会利用一个强大的库——requests来获取数据。在电脑上安装

Python绘图，圣诞树，花，爱心 | Turtle篇: 1.画圣诞树 import turtle screen = turtle.Screen() screen.setup(800,600) circle = turtle.Turtle() circle.shape('circle') circle.color('red') circle.speed('fastest') circle.up() square = turtle.Turtle()

作为一个程序员，CPU的这些硬核知识你必须会！: CPU对每个程序员来说，是个既熟悉又陌生的东西？如果你只知道CPU是中央处理器的话，那可能对你并没有什么用，那么作为程序员的我们，必须要搞懂的就是CPU这家伙是如何运行的，尤其要搞懂它里面的寄存器是怎么一回事，因为这将让你从底层明白程序的运行机制。随我一起，来好好认识下CPU这货吧把CPU掰开来看对于CPU来说，我们首先就要搞明白它是怎么回事，也就是它的内部构造，当然，CPU那么牛的一个东

破14亿，Python分析我国存在哪些人口危机！: 2020年1月17日，国家统计局发布了2019年国民经济报告，报告中指出我国人口突破14亿。猪哥的朋友圈被14亿人口刷屏，但是很多人并没有看到我国复杂的人口问题：老龄化、男女比例失衡、生育率下降、人口红利下降等。今天我们就来分析一下我们国家的人口数据吧！更多有趣分析教程，扫描下方二维码关注vx公号「裸睡的猪」即可查看！一、背景 1.人口突破14亿 2020年1月17日，国家统计局发布

web前端javascript+jquery知识点总结: Javascript javascript 在前端网页中占有非常重要的地位，可以用于验证表单，制作特效等功能，它是一种描述语言，也是一种基于对象（Object）和事件驱动并具有安全性的脚本语言，语法同java类似，是一种解释性语言，边执行边解释。 JavaScript的组成： ECMAScipt 用于描述: 语法，变量和数据类型，运算符，逻辑控制语句，关键字保留字，对象。浏览器对象模型（Br

Python实战：抓肺炎疫情实时数据，画2019-nCoV疫情地图: 文章目录1. 前言2. 数据下载3. 数据处理4. 数据可视化 1. 前言今天，群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者，国家重点实验室成员，于不惑之年学习python，实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据，也没有画过类似的数据分布图。于是就拿了两个小时，专门研究了一下，遂成此文。 2月6日追记：本文发布后，腾讯的数据源多次变更u

听说想当黑客的都玩过这个Monyer游戏（1~14攻略）: 第零关进入传送门开始第0关（游戏链接）请点击链接进入第1关：连接在左边→ ←连接在右边看不到啊。。。。（只能看到一堆大佬做完的留名，也能看到菜鸡的我，在后面~~）直接fn+f12吧 连接在左边→ <a href="first.php"></a> ←连接在右边 o

在家远程办公效率低？那你一定要收好这个「在家办公」神器！: 相信大家都已经收到国务院延长春节假期的消息，接下来，在家远程办公可能将会持续一段时间。但是问题来了。远程办公不是人在电脑前就当坐班了，相反，对于沟通效率，文件协作，以及信息安全都有着极高的要求。有着非常多的挑战，比如： 1在异地互相不见面的会议上，如何提高沟通效率？ 2文件之间的来往反馈如何做到及时性？如何保证信息安全？ 3如何规划安排每天工作，以及如何进行成果验收？ ......

作为一个程序员，内存和磁盘的这些事情，你不得不知道啊！！！: 截止目前，我已经分享了如下几篇文章：一个程序在计算机中是如何运行的？超级干货！！！作为一个程序员，CPU的这些硬核知识你必须会！作为一个程序员，内存的这些硬核知识你必须懂！这些知识可以说是我们之前都不太重视的基础知识，可能大家在上大学的时候都学习过了，但是嘞，当时由于老师讲解的没那么有趣，又加上这些知识本身就比较枯燥，所以嘞，大家当初几乎等于没学。再说啦，学习这些，也看不出来有什么用啊！

渗透测试-灰鸽子远控木马: 木马概述灰鸽子（ Huigezi），原本该软件适用于公司和家庭管理，其功能十分强大，不但能监视摄像头、键盘记录、监控桌面、文件操作等。还提供了黑客专用功能，如：伪装系统图标、随意更换启动项名称和表述、随意更换端口、运行后自删除、毫无提示安装等，并采用反弹链接这种缺陷设计，使得使用者拥有最高权限，一经破解即无法控制。最终导致被黑客恶意使用。原作者的灰鸽子被定义为是一款集多种控制方式于一体的木马程序

Python：爬取疫情每日数据: 前言有部分同学留言说为什么412，这是因为我代码里全国的cookies需要你自己打开浏览器更新好后替换，而且这个cookies大概只能持续20秒左右！另外全国卫健委的数据格式一直在变，也有可能会导致爬取失败！我现在已根据2月14日最新通报稿的格式修正了！目前每天各大平台，如腾讯、今日头条都会更新疫情每日数据，他们的数据源都是一样的，主要都是通过各地的卫健委官网通报。为什么已经有大量平台做

这个世界上人真的分三六九等，你信吗？: 偶然间，在知乎上看到一个问题一时间，勾起了我深深的回忆。以前在厂里打过两次工，做过家教，干过辅导班，做过中介。零下几度的晚上，贴过广告，满脸、满手地长冻疮。再回首那段岁月，虽然苦，但让我学会了坚持和忍耐。让我明白了，在这个世界上，无论环境多么的恶劣，只要心存希望，星星之火，亦可燎原。下文是原回答，希望能对你能有所启发。如果我说，这个世界上人真的分三六九等，

B 站上有哪些很好的学习资源?: 哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频，最近两年我和周围的朋友们已经把B站当作学习教室了，而且学习成本还免费，真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ﾉ下面我们就来盘点一下B站上优质的学习资源：综合类 Oeasy：综合

雷火神山直播超两亿，Web播放器事件监听是怎么实现的？: Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题，让视音频内容可以不依赖用户安装App，就能进行播放以及在社交平台进行传播。在视频业务大数据平台中，播放数据的统计分析非常重要，所以Web播放器在使用过程中，需要对其内部的数据进行收集并上报至服务端，此时，就需要对发生在其内部的一些播放行为进行事件监听。那么Web播放器事件监听是怎么实现的呢？ 01 监听事件明细表 名

3万字总结，Mysql优化之精髓: 本文知识点较多，篇幅较长，请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量，备受互联网大厂的青睐，出门面试想进BAT，想拿高工资，不会点MySQL优化知识，拿offer的成功率会大大下降。为什么要优化系统的吞吐量瓶颈往往出现在数据库的访问速度上随着应用程序的运行，数据库的中的数据会越来越多，处理时间会相应变慢数据是存放在磁盘上的，读写速度无法和内存相比如何优化设计

Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕（三）发送篇: 今天介绍的项目是使用 Itchat 发送统计报告项目功能设计：定时爬取疫情数据存入Mysql 进行数据分析制作疫情报告使用itchat给亲人朋友发送分析报告（本文）基于Django做数据屏幕使用Tableau做数据分析来看看最终效果目前已经完成，预计2月12日前更新使用 itchat 发送数据统计报告 itchat 是一个基于 web微信的一个框架，但微信官方并不允

粒子群算法求解物流配送路线问题（python）: 粒子群算法求解物流配送路线问题（python） 1.查找论文文献找一篇物流配送路径优化+粒子群算法求解的论文参考文献：基于混沌粒子群算法的物流配送路径优化 2.了解粒子群算法的原理讲解通俗易懂，有数学实例的博文：https://blog.csdn.net/daaikuaichuan/article/details/81382794 3.确定编码方式和解码策略 3.1编码方式物流配送路线的

教你如何编写第一个简单的爬虫: 很多人知道爬虫，也很想利用爬虫去爬取自己想要的数据，那么爬虫到底怎么用呢？今天就教大家编写一个简单的爬虫。下面以爬取笔者的个人博客网站为例获取第一篇文章的标题名称，教大家学会一个简单的爬虫。第一步：获取页面 #!/usr/bin/python # coding: utf-8 import requests #引入包requests link = "http://www.santostang.

前端JS初级面试题二 (｡•ˇ‸ˇ•｡)老铁们！快来瞧瞧自己都会了么: 1. 传统事件绑定和符合W3C标准的事件绑定有什么区别？传统事件绑定 <div onclick="">123</div> div1.onclick = function(){}; <button onmouseover=""></button> 注意：如果给同一个元素绑定了两次或多次相同类型的事件，那么后面的绑定会覆盖前面的绑定（不支持DOM事...

情人节来了，教你个用 Python 表白的技巧: 作者：@明哥公众号：Python编程时光 2020年，这个看起来如此浪漫的年份，你还是一个人吗？难不成我还能是一条狗？ 18年的时候，写过一篇介绍如何使用 Python 来表白的文章。虽然创意和使用效果都不错，但有一缺点，这是那个exe文件，女神需要打开电脑，才有可能参与进来，进而被你成功"调戏”。由于是很早期的文章了，应该有很多人没有看过。没有看过的，你可以点击这里查看：用Pyt...

用Python开发实用程序 – 计算器: 作者：隋顺意一段时间前，自己制作了一个库 “sui-math”。这其实是math的翻版。做完后，python既然可以轻易的完成任何的数学计算，何不用python开发一个小程序专门用以计算呢？现在我们越来越依赖于计算器，很多复杂的计算都离不开它。我们使用过各式各样的计算器，无论是电脑自带的，还是网也上的计算器，却都没有自己动手编写属于自己计算器。今天就让我们走进计算器的世界，用python来编写...

经典算法（19）教你两分钟学会【选择排序】: 这篇博客使用图文并茂的方式讲解选择排序算法，并有完整的算法逻辑以及代码实现。

Python学习笔记（语法篇）: 本篇博客大部分内容摘自埃里克·马瑟斯所著的《Python编程：从入门到实战》（入门类书籍），采用举例的方式进行知识点提要关于Python学习书籍推荐文章《学习Python必备的8本书》 Python语法特点：通过缩进进行语句组织不需要变量或参数的声明冒号 1 变量和简单数据结构 1.1 变量命名只能包含字母、数字和下划线，且不能以数字打头。 1.2 字符串在Python中，用引号...

用Python打造你的专属情人节贺卡，赶快发给TA浪漫一下吧: 明天就是情人节了。这个情人节，注定是一个不能约会的情人节，但不能约会不代表不能浪漫。古人比我们出生早，那些浪漫的诗词早都被他们挖掘一空，比诗词我们肯定没有机会了。好在我们还有Python，不然都不知道该如何表达浪漫。接下来，浪导教你制作一个浪漫的情人节专属贺卡。

Python绘图与可视化: 文章目录使用的库Matplotlib程序包绘图命令的扩展及其属性设置使用的库 Python有很多可视化工具，如：Matplotlib。 Matplotlib是一种2D的绘图库，它可以支持硬拷贝和跨系统的交互，它可以在Python脚本、IPython的交互环境下、Web应用程序中使用。如果结合使用一种GUI工具包（如IPython），Matplotlib还具有诸如缩放和平移等交互功能。它不仅支持各...

计算机考研经验总结: 计算机考研指导建议背景开始备考时间学校选择复习计划学科复习考研资料和平台心得杂杂答疑背景我是广东双非本科计算机类专业，大一高数没学好，英语在大四最后一次考试里过了6级，专业课掌握情况尚好。选择报考暨南大学，因为它的专业课那年只考一门数据结构，而我数据结构学的还不错，不用在专业课上花很多的时间。暨南大学和华师是广东省内仅有的两所211高校，而听说华师学校稍老，环境没有暨大好。开始备考时...

MySQL表的增删查改(提高篇): MySQL表的增删查改(基本篇) 接上一篇MySQL表基本的增删查改，下面看一下提高篇：一、数据库约束 1、约束类型 NOT NULL：不为空约束。创建表时，可以指定某列不为空 UNIQUE ：唯一约束。指定某列为唯一的、不重复的 DEFAULT ：默认值约束。指定插入数据时，某列为空，设置默认值 PRIMARY KEY ：主键约束。NOT NULL 和 UNIQUE 的结合。确保某列（或两个...

Java实现 LeetCode 35 搜索插入位置: 35. 搜索插入位置给定一个排序数组和一个目标值，在数组中找到目标值，并返回其索引。如果目标值不存在于数组中，返回它将会被按顺序插入的位置。你可以假设数组中无重复元素。示例 1: 输入: [1,3,5,6], 5 输出: 2 示例 2: 输入: [1,3,5,6], 2 输出: 1 示例 3: 输入: [1,3,5,6], 7 输出: 4 示例 4: 输入: [1,3,5,6], 0 输出:...

整理一波国外前端学习网站: 国内的普通开发者对于掌握一门新的技术不知道从哪里下手，看哪些书。为了获得相关知识会关注各种公众号、购买各种视频课程来学习，但由于这些内容本身有碎片化的特点，效果往往不太理想。以至于付出了大量的时间到最后不能够形成系统化的知识。我同样也遇到过类似的问题，不是说公众号与视频课程不好，这些也有自身的优势，但是往往都是别人经过实践沉淀下来的，我们读过之后往往仅限于了解而已。如果要掌握还需要大量的实践、探...

Linux运维面试总结: 1.ssh远程连接的问题？第一种是远程连接慢的问题： (1)可以通过ssh -v 来检测哪个步骤出现的问题。根据对应的问题，来针对性的进行解决。 (2)可能是DNS反向解析不正确导致的.正常情况下默认配置下 sshd 初次接受 ssh 客户端连接的时候会自动反向解析客户端 IP 以得到 ssh 客户端的域名或主机名。如果这个时候 DNS 的反向解析不正确，sshd 就会等到 DNS 解析超...

那些年搞的计算机奇淫技巧: 最近在家宅着，闲来无事，就回忆起以前钻研过的电脑小技巧，虽然算不上高精深，但也比较有意思，如今记录下来，也是别有一番韵味。一开始我比较的执着于cmd命令，因为觉得其比较酷，就学习了很多命令；我用calc调出计算器；用matsc启动远程桌面界面，虽然没有其他的计算机供我远程连接，但我仍然为此乐此不疲；用mspaint调出画图工具，这个是以前我使用最频繁的命令了；用Taskmgr调出任务管理器，当...

小白也会用的情人节表白神器: 鉴于情人节女朋友总说直男，上网找了个模板，改了一下，发现效果还不错。然后又录了一个视频，发现凑合，能用。现在免费分享给程序员，去表白去吧。。当然比较low因为考研没时间优化，懒着优化了。先看一下效果吧：页面太多了，这里我只放几个页面里面有音乐，还凑合不是太单调。所有页面最后的合成效果：接下来教大家如何使用：新建文件夹：love 然后建立这几个...

SpringBoot整合Junit: 和整合Mybatis一样分几个步骤添加Junit的起步依赖编写测试类控制台打印信息总的来说这个还是很简单的添加Junit的起步依赖  <dependency> <groupId>org.springframework.boot</groupId> <artifactId>s...

论如何用python发qq消息轰炸虐狗好友: 因为我的某个好友在情人节的时候秀恩爱，所以我灵光一闪制作了qq消息轰炸并记录了下来。首先我的编程环境是： windows 10系统 python3.6 记得要下载win32 pip install win32 思路介绍其实也非常简单将要发出去的句子储存在列表中然后用随机模块调用将随机出来的元素储存在剪贴板中连接QQ 找到指定对象疯狂输出怎么样，简单吧开始打代码吧 imp...

Python爬取冠状病毒“谣言”新闻进行数据分析: 一、前言今天给大家介绍的爬虫项目是爬取冠状病毒谣言数据，因为最近网络上有很多关于冠状病毒的谣言，官方也积极的出来辟谣，作为一名数据爱好者，我也想尽自己一份微薄之力，分享一些有用的数据分享，希望大家在特殊情况下能明辨是非，保护好自己和家人！二、爬取数据话不多说了，直接上代码（ copy即可用） import requests import pandas as pd class Sp...

浅谈JAVA设计模式之——单例模式: 看几个单例对象的示例代码，其中有些代码是线程安全的，有些则不是线程安全的，需要大家细细品味，这些代码也是冰河本人在高并发环境下测试验证过的。代码一：SingletonExample1 这个类是懒汉模式，并且是线程不安全的 package io.binghe.concurrency.example.singleton; /** * @author binghe * @versio...

猫眼电影Top100爬取: 猫眼电影的TOP100榜爬取步骤：第一步：打开网页猫眼电影榜单网页（https://maoyan.com/board/4）第二步：打开开发者模式，分析网页源代码，找到需爬取的信息第三步：编写代码，将整个html请求下来，然后解析网页，获取我们需要的信息并将之存为excel表格网页分析依次点击图中箭头所指的位置，可以观察到我们所需的信息通过上述操作可以发现，我们所需的每部电影的信息...

HTML5大前端学习过程第一周（Day04）: 2020年2月14日今天收获还算可以,Android studio终于可以能好可以用了，运行出了HelloWorld，昨天晚上能了三四个小时都没有能好，今天也能了挺长时间吧，除了上课就在搞这个，从来没有用那个软件运行出来HelloWorld这样开心过，可能这就是传说中程序员的HelloWorld的情节吧！一. 本节课学习目标。掌握CSS选择器的优先级以及选择器的区别。 Div和span的用...

Java导出数据到Excel表格: Java导出数据到Excel表格今天是2020年2月14日，首先祝各位情人节快乐下面言归正传开始正文。在后台管理系统中经常会有导出数据到Excel表格的功能需求，这个功能是难以规避的，而且这也是一个非常使用且人性化的一个功能。下面就给大家分享一下我在项目中实现此功能的方式和方法。我使用的是POI进行一个Excel的操作，POI组件是由Apache提供的组件包，主要是为我们的Java程序提供...

颠覆Web前端开发的HTML5技术: 移动互联网迫使一些传统的互联网浏览器厂商不得不做改变，不管哪个移动端操作系统，浏览器内核技术达到了前所未有的统一，大部分都使用wbkit内核，移动的浏览器一开始就支持新出的html5(PC时代无法做的)。　　90%以上的手机支持html5，html5提升了浏览器客户端的开发能力，这种提升是质的变化，使客户端更加丰富。　　　　移动领域让html5发挥了价值　　据分析，是移动...

情人节闲着无聊写个python程序: 用python在图片上写字 ''' 依赖，需要安装Pillow pip install Pillow ''' from PIL import Image, ImageDraw, ImageFont import sys #判断参数个数，可以不要 import os #判断文件是否存在，可以不要 image_path = "1.jpg" font_path = "SIMLI.TTF" tex...

vivado2014.4 license下载: vivado2014.4 license 官方下载验证后分享相关下载链接：[url=//download.csdn.net/download/qq_16191315/8411997?utm_source=bbsseo]//download.csdn.net/download/qq_16191315/8411997?utm_source=bbsseo[/url]

工资管理信息系统下载: 工资管理信息系统运用asp技术，数据库用的是access。简单的实现增删改查，适合交作业。相关下载链接：[url=//download.csdn.net/download/u010087830/6510351?utm_source=bbsseo]//download.csdn.net/download/u010087830/6510351?utm_source=bbsseo[/url]

IBM小型机监控下载: 系列服务器IBM AS400 监控安装实施文档相关下载链接：[url=//download.csdn.net/download/zhfei008/6848843?utm_source=bbsseo]//download.csdn.net/download/zhfei008/6848843?utm_source=bbsseo[/url]

相关热词 c#导入fbx c#中屏蔽键盘某个键 c#正态概率密度 c#和数据库登陆界面设计 c# 高斯消去法 c# codedom c#读取cad文件文本 c# 控制全局鼠标移动 c# temp 目录 bytes初始化 c#

我们是很有底线的