疑问：多核的环境中，开启这么多线程，效率更低了？
针对想用多个线程来实现并发读取文件的功能，有什么思路可以指导？
-
等级
本版专家分：0结帖率 90% -
问题：遍历一个文件夹后得到100组文件，每组文件的数目不一样；现在要对这100组文件进行处理，因此写了一个线程函数来处理一组文件，在主线程中开启了100个这样的线程来处理这一100组文件，发现单线程实现的消耗时间比开启100个线程所消耗的时间要短（只有两分钟，多线程的8分钟）。网上查询说是线程开销，上下文切换消耗比较大。
疑问：多核的环境中，开启这么多线程，效率更低了？
针对想用多个线程来实现并发读取文件的功能，有什么思路可以指导？展开阅读全文
-
等级
本版专家分：15822 -
因为你硬盘并发不行嘛。开10个 100个 1000个 效果也许更差。
-
等级
本版专家分：18567勋章
-
- 红花 2015年2月 VC/MFC大版内专家分月排行榜第一
-
- 蓝花 2015年1月 VC/MFC大版内专家分月排行榜第三
-
-
CPU密集型的任务才适合多线程，IO密集型的任务，多线程没有帮助
-
等级
本版专家分：3515 -
有办法优化的. 首先一个线程(主线程), 把数据读取到内存(全部文件的全部数据, 内存要大哦!), 然后开多线程在内存处理!把任务分配给新开的多个线程.
但多线程不宜过多! 要根据CPU内核数或者超线程线程数量来. 可以是CPU内核数量的两三倍.
然后线程优先级处理. 看看是否效果会好一点的.
-
等级
本版专家分：155554勋章
-
- 探花 2019年总版新获得的技术专家分排名第三
-
- 进士 2018年总版新获得的技术专家分排名前十
-
-
银牌
2020年6月 总版技术专家分月排行榜第二
2020年4月 总版技术专家分月排行榜第二
2019年7月 总版技术专家分月排行榜第二
2019年5月 总版技术专家分月排行榜第二
-
-
铜牌
2020年7月 总版技术专家分月排行榜第三
2020年1月 总版技术专家分月排行榜第三
2019年8月 总版技术专家分月排行榜第三
2019年4月 总版技术专家分月排行榜第三
2019年3月 总版技术专家分月排行榜第三
-
-
最好是将文件先全部读入再做处理，
如果资源不够 减少读写文件的次数， 每次读入尽可能多的数据
-
等级
本版专家分：10168
-
你几个CPU啊，100个线程分配CPU了吗？如果是4核的，一个核分25个线程试试？
-
等级
本版专家分：0
-
用E5-2680v2 CPU 2个再加上PCIE SSD你就知道，装备多少重要，不到10s完成任务
-
等级
本版专家分：362725勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
名人
2019年 荣获名人称号
2013年 荣获名人称号
-
-
探花
2011年 总版技术专家分年内排行榜第三
2010年 总版技术专家分年内排行榜第三
-
- 进士 2012年 总版技术专家分年内排行榜第五
-
-
线程太多的话，系统内核花在线程切换的开销就会大，耗时也会多，真正留给线程工作的时间可能会很少。
-
等级
本版专家分：619 -
单线程读写硬盘，多线程处理内存数据，线程数量不要超过CPU逻辑处理器数量
-
等级
本版专家分：87700勋章
-
- 状元 2017年 总版技术专家分年内排行榜第一
-
- 榜眼 2014年 总版技术专家分年内排行榜第二
-
- 探花 2013年 总版技术专家分年内排行榜第三
-
-
进士
2018年总版新获得的技术专家分排名前十
2012年 总版技术专家分年内排行榜第七
-
-
在文件大小相同的前提下：
读刚读过的文件比头次读没读过的文件快
读转速快的硬盘上的文件比读转速慢的硬盘上的文件快
读没有磁盘碎片的文件比读有磁盘碎片的文件快
读文件不处理比边读边处理快
单线程从头到尾一次读文件比多线程分别读文件各部分快（非固态硬盘上）
读固态硬盘上的文件比读普通硬盘上的文件快
- 数据结构：五岔路口交通管理红绿灯设计
我们可以知道这是一个“图”的着色问题，首先要考虑，为什么...二、除去E（因为E只有一个入向），剩下ABCD四个路口，然后因为C只有一个出方向，所以从剩下 的ABD中选择一个入口，即C_3^1； 三、再从剩下的三个出口任选
- 《剑指offer》:[56]五岔路口交通管理红绿灯设计
抽象建模能力 计算机只是一种工具，是为我们服务所驱使的工具，我们不能一头扎入这个编程的海洋出不来甚至迷失了方向。它的作用是帮助我们解决实际生活中的问题。程序员的工作就是把各种现实的问题抽象成数学模型...
- C++之switch case语句详解
我们已经了解，if……else……可以用来描述一个“二岔路口”，我们只能选择其中一条路来继续走。然而，有时候我们会遇到一些“多岔路口”的情况，用if……else……语句来描述这种多岔路口会显得非常麻烦，而且容易把...
- matlab做出分叉与混沌分支图
目前我理解的分叉与混沌为： 对于一个类似于xk+1=f(μ,xk+1)形式的迭代数列，当迭代若干次后，会随μ的取值不同出现不同的情况 ·1、所有点都聚集在一个点附近，或者在某个点不动 2、所有点聚集在若干点附近或不...
- 一个岔路口分别通向诚实国和说谎国。 来了两个人，已知一个是诚实国的，另一个是说谎国的。 诚实国永远说...
一个岔路口分别通向诚实国和说谎国。 来了两个人，已知一个是诚实国的，另一个是说谎国的。 诚实国永远说实话，说谎国永远说谎话。现在你要去说谎国， 但不知道应该走哪条路，需要问这两个人。请问应该怎么问？...
- 25. 深度优先搜索DFS的常见用法详解优化-[STL模板]
25. 深度优先搜索DFS的常见用法详解优化-[STL模板] 1.DFS定义—枚举所有完成路径，遍历所有情况（暴力） 1.得到岔路口，死胡同 2.定义栈：遇到岔路口，死胡同入栈。离开岔路口，死胡同出站。 2. ...
- 分叉图（Bifurcation）
Logistic #-*-coding:utf-8-*- import numpy as np import matplotlib.pyplot as plt def logistic(u,x): x1 = u*x*(1-x) return x1 if __name__ == '__main__': listu=[] listx=[] ... for u ...
- 一个叫盒子的姑娘
我走在路上，大片大片的油菜花还有远处叫不上名字的火红火红的花，红，黄和绿。眼前草地上躺着一个姑娘，不...长沙，解放西路近太平街的地下通道，一个男生抱着吉他站在岔路口处，在唱达达乐队的《南方》，我想留下来。
- caffe初探1：生成自己的数据集
之前的博文转载过如何配置caffe，在配置好caffe之后呢，我们就可以利用caffe结合自己设计的网络与制作的数据集来训练模型并且测试了。可是，一口吃一个胖子是很愚蠢的，笔者希望通过若干个系列的博客告诉大家如何...
- 做web前端，年入50w以上的心得
来自头条号：丁向明 （ps：加关注）---大家好， 我是aming ，来自广东的一种称谓（习惯于加阿x来称呼，我曾在广州工作过一段时间，大家习惯这样叫我）不管你之前认识或不认识我， 现在，我们开始重新认识一下！...
- UML 活动图
内容路线 •活动图概述 活动图概述 ...•活动图和交互图是UML中对系统动态方面建模的两种主要形式 ...•交互图强调的是对象到对象的控制流，而活动图则强调的是从活动到活动的控制流 ...它可以用
- caffe初探4：对训练得到的模型进行测试
续caffe初探1，2，3，在我们训练出自己的模型之后，就可以测试，或者说使用我们的模型来分类了，在我们使用网络模型对单张图片进行分类测试之前笔者还是列出测试所需物资清单： 兹测试所需物资清单如下： ...
- 智力题___试试你的面试能力吧~~~（8道难题）
智力题___试试你的面试能力吧~~~（8道难题） 这是一些面试中经常见到的题目，当你们第一次遇到的时候 ，有多少题目能回答正确呢？ ------当有人把所有题目答案累计回答出来的时候，公布我的答案------ ...
- 一个岔路口分别通向诚实国和说谎国
来了两个人，已知一个是诚实国的，另一个是说谎国的。 诚实国永远说实话，说谎国永远说谎话。现在你要去说谎国， 但不知道应该走哪条路，需要问这两个人。请问应该怎么问？（20 秒-2 分钟） ...
- 几个城市的公交站查询
上海公交 http://www.07550755.com/bus/bus.asp?city=3 路线途经站点1路上行塘桥-塘桥临沂北路-浦电路-第一八佰伴-东方医院-浙江中路-石门一路-陕西北路-华山路-美丽园-延安西路-愚园路-中山北路-上海火车西站-桃...
- [BetterExplained]书写是为了更好的思考
我经常在走路和睡前总结所学过的内容，思考遗留的...大半年前的时候，我曾在一篇文章《跟波利亚学解题》中写到将问题求解的思维过程记录下来的好处，现在再次回忆起来，当时列出的几点其实不仅对于问题求解是大有好处
- 一个29岁总裁对大学生的16条忠告
一、读大学，究竟读什么？ 大学生和非大学生最主要的区别绝对不在于是否掌握了一门专业技能……一个...但要想捕到鱼，就必须要编织一张网…… 二、人生规划：三岔路口的抉择 不走弯路就是捷径…… 仕途，商界，学术
- 非线性动力学与混沌
part1 一维流几何思维对于简单的一阶非线性系统x′=sin(x)x'=sin(x)，可以在相平面上画出关于x和x的导数之间的关系。若x的导数作为y轴，x作为x轴，则在x轴上方，x的导数为正值,在x轴的运动向右，反之向左。...
- adobe flash media service5简单使用
前几天要搞直播这一块的内容，就查资料，需要ffmpeg来推流，测试的时候可以用adobe flash media service5来播放。 网上好像都怎么说一个详细...1. 首先是下载安装包，下载的是fms5， 地址是这个：http://www.xdowns.
- 流程图符号和用法
一、什么是流程图 流程图是流经一个系统的信息流、观点流或部件流的图形代表。在企业中，流程图主要用来说明某一过程。这种过程既可以是生产线上的工艺流程，也可以是完成一项任务必需的管理过程。...
- jQuery的serialize方法无法获取form数据
长期以来，我一直以为form表单时符合数据的，table、tr、td是负责HTML页面显示布局的，他们之间不会互相影响。... 经过多次试验、比较、测试发现是因为form标签和table交叉的原因。比如在以下的情况是执行失败的：
- [C] 老鼠走迷宫（使用回圈+堆叠）
并且使用堆叠(或堆栈、stack)记录走过的分岔路口座标，以便走到死路时可从堆叠中取出分岔路口座标來返回分岔路口。 最后将找到的那条从入口到出口的行进路径输出到一个文件中。 Input： input_map.txt 內容 10
- Ubuntu18.04安装教程
下载Ubuntu18.04.1 LTS2.制作U盘启动盘3.准备 Ubuntu18.04.1 的硬盘空间二、安装Ubuntu18.04.1三、安装后的一些工作1.安装输入法2.更换软件源四、双系统如何卸载Ubuntu18.04.1新的改变功能快捷键合理的创建标题，有...
- 几个离散混沌映射系统(混沌函数)
0.背景知识(1) 混沌系统是指在一个确定性系统中，存在着貌似随机的不规则运动，其行为表现为不确定性、不可重复、不可预测，这就是混沌现象。(2) Lyapunov指数是衡量系统动力学特性的一个重要定量指标,它表征了系统...
- Jupytelab 如何安装 labextension
1.3 版本更新2 安装相关库2.1 安装 nodejs2.2 安装 yarn3 安装插件包3.1 安装要点3.2 安装心仪插件包3.3 如何找到安装包及其下载代码 0 背景 随着Jupyter Lab的推广，最近也是受到很多启发，于是想试一下使
- 不确定性有限自动机
打个比方，就是在我们当前位置没有岔路口，没有给我们多选的机会。 NFA：NFA即不确定性有限自动机（nondeterminism finite automaton）,它允许我们在遇到一个状态时可以有多条转移路径可以选择。特殊的是，它允许...
- 教你怎样使用手机离线地图进行GPS定位
一般的手机GPS定位都需要在线地图服务，也就是说，需要通过GPRS链接到Internet，在线浏览地图数据，并通过手机的GPS定位信号，将位置标注在地图上，以达到定位的目的。这种定位方式在城市中或者有手机信号的区域内，...
- 别让IT培训机构毁了你这一辈子
2017-06-02 我在北京摸爬滚打这么多年，也算是IT界的老人了，最近，经常有老家的同学打来电话。有位同学说他侄子高中快毕业了，成绩不太理想，只能考上一所三流大学。...现在大学生找不到工作，所以...
- 无数个骂娘的故事告诉你，千万别做技术合伙人！
不好意思，我并没有写错标题！妓术合伙人，本质上和娼妓并没有什么不同，都是用身体+青春换金钱。今天，和几个创业的朋友聊天的时候，其中一个技术合伙人的朋友被他们的公司的CEO各种恶心，在我们在群里一直听他在骂...
- 微擎应用支付报错mch_id与appid不匹配
咳咳，首先我想说的的是看了网站上说两个公众号以上，然后参数传递一个公众号的说法，我先打个岔，疑问我将提交的参数都获取了，得到的是正确的，两个公众号，两个‘account’，两个‘mchid’，两个‘’appid’，...