-
本版专家分：0结帖率 88.89% -
问题：遍历一个文件夹后得到100组文件，每组文件的数目不一样；现在要对这100组文件进行处理，因此写了一个线程函数来处理一组文件，在主线程中开启了100个这样的线程来处理这一100组文件，发现单线程实现的消耗时间比开启100个线程所消耗的时间要短（只有两分钟，多线程的8分钟）。网上查询说是线程开销，上下文切换消耗比较大。
疑问：多核的环境中，开启这么多线程，效率更低了？
针对想用多个线程来实现并发读取文件的功能，有什么思路可以指导？
-
本版专家分：14021 -
因为你硬盘并发不行嘛。开10个 100个 1000个 效果也许更差。
-
版主本版专家分：18432
-
- 红花 2015年2月 VC/MFC大版内专家分月排行榜第一
-
- 蓝花 2015年1月 VC/MFC大版内专家分月排行榜第三
-
-
CPU密集型的任务才适合多线程，IO密集型的任务，多线程没有帮助
-
本版专家分：3515 -
有办法优化的. 首先一个线程(主线程), 把数据读取到内存(全部文件的全部数据, 内存要大哦!), 然后开多线程在内存处理!把任务分配给新开的多个线程.
但多线程不宜过多! 要根据CPU内核数或者超线程线程数量来. 可以是CPU内核数量的两三倍.
然后线程优先级处理. 看看是否效果会好一点的.
-
本版专家分：127539
-
- 进士 2018年总版新获得的技术专家分排名前十
-
-
红花
2019年1月 VC/MFC大版内专家分月排行榜第一
2018年12月 VC/MFC大版内专家分月排行榜第一
2018年11月 VC/MFC大版内专家分月排行榜第一
2018年10月 VC/MFC大版内专家分月排行榜第一
2018年9月 VC/MFC大版内专家分月排行榜第一
2018年8月 VC/MFC大版内专家分月排行榜第一
2018年5月 VC/MFC大版内专家分月排行榜第一
2018年4月 VC/MFC大版内专家分月排行榜第一
2018年3月 VC/MFC大版内专家分月排行榜第一
2018年2月 VC/MFC大版内专家分月排行榜第一
2018年1月 VC/MFC大版内专家分月排行榜第一
2017年12月 VC/MFC大版内专家分月排行榜第一
2017年11月 VC/MFC大版内专家分月排行榜第一
2017年7月 VC/MFC大版内专家分月排行榜第一
2012年7月 VC/MFC大版内专家分月排行榜第一
-
-
黄花
2018年7月 VC/MFC大版内专家分月排行榜第二
2018年6月 VC/MFC大版内专家分月排行榜第二
2017年9月 VC/MFC大版内专家分月排行榜第二
2017年8月 VC/MFC大版内专家分月排行榜第二
2017年4月 VC/MFC大版内专家分月排行榜第二
2017年3月 VC/MFC大版内专家分月排行榜第二
2017年2月 VC/MFC大版内专家分月排行榜第二
2016年8月 VC/MFC大版内专家分月排行榜第二
2016年7月 VC/MFC大版内专家分月排行榜第二
2016年6月 VC/MFC大版内专家分月排行榜第二
2015年6月 VC/MFC大版内专家分月排行榜第二
-
-
蓝花
2017年10月 VC/MFC大版内专家分月排行榜第三
2017年6月 VC/MFC大版内专家分月排行榜第三
2017年5月 VC/MFC大版内专家分月排行榜第三
2016年9月 VC/MFC大版内专家分月排行榜第三
2016年4月 VC/MFC大版内专家分月排行榜第三
2015年4月 VC/MFC大版内专家分月排行榜第三
2012年8月 VC/MFC大版内专家分月排行榜第三
-
-
最好是将文件先全部读入再做处理，
如果资源不够 减少读写文件的次数， 每次读入尽可能多的数据
-
本版专家分：8136 -
你几个CPU啊，100个线程分配CPU了吗？如果是4核的，一个核分25个线程试试？
-
本版专家分：0
-
用E5-2680v2 CPU 2个再加上PCIE SSD你就知道，装备多少重要，不到10s完成任务
-
版主本版专家分：359461
-
- 名人 2013年 荣获名人称号
-
-
探花
2011年 总版技术专家分年内排行榜第三
2010年 总版技术专家分年内排行榜第三
-
- 进士 2012年 总版技术专家分年内排行榜第五
-
- 金牌 2012年1月 总版技术专家分月排行榜第一
-
-
线程太多的话，系统内核花在线程切换的开销就会大，耗时也会多，真正留给线程工作的时间可能会很少。
-
本版专家分：86419
-
- 状元 2017年 总版技术专家分年内排行榜第一
-
- 榜眼 2014年 总版技术专家分年内排行榜第二
-
- 探花 2013年 总版技术专家分年内排行榜第三
-
-
进士
2018年总版新获得的技术专家分排名前十
2012年 总版技术专家分年内排行榜第七
-
-
在文件大小相同的前提下：
读刚读过的文件比头次读没读过的文件快
读转速快的硬盘上的文件比读转速慢的硬盘上的文件快
读没有磁盘碎片的文件比读有磁盘碎片的文件快
读文件不处理比边读边处理快
单线程从头到尾一次读文件比多线程分别读文件各部分快（非固态硬盘上）
读固态硬盘上的文件比读普通硬盘上的文件快
-
本版专家分：55535
-
-
红花
2015年8月 硬件/嵌入开发大版内专家分月排行榜第一
2015年7月 VC/MFC大版内专家分月排行榜第一
2015年5月 VC/MFC大版内专家分月排行榜第一
2015年4月 VC/MFC大版内专家分月排行榜第一
2015年3月 VC/MFC大版内专家分月排行榜第一
2015年1月 硬件/嵌入开发大版内专家分月排行榜第一
2013年12月 VC/MFC大版内专家分月排行榜第一
2013年11月 VC/MFC大版内专家分月排行榜第一
2013年6月 VB大版内专家分月排行榜第一
2013年5月 VB大版内专家分月排行榜第一
2013年1月 VB大版内专家分月排行榜第一
2012年12月 VB大版内专家分月排行榜第一
-
-
黄花
2015年9月 VC/MFC大版内专家分月排行榜第二
2015年7月 硬件/嵌入开发大版内专家分月排行榜第二
2014年5月 VC/MFC大版内专家分月排行榜第二
2014年3月 VC/MFC大版内专家分月排行榜第二
2013年10月 VB大版内专家分月排行榜第二
2013年7月 VB大版内专家分月排行榜第二
2012年5月 VB大版内专家分月排行榜第二
2012年4月 VB大版内专家分月排行榜第二
2012年2月 VB大版内专家分月排行榜第二
2011年11月 VB大版内专家分月排行榜第二
-
-
蓝花
2015年11月 VC/MFC大版内专家分月排行榜第三
2015年6月 VC/MFC大版内专家分月排行榜第三
2015年2月 VC/MFC大版内专家分月排行榜第三
2014年1月 VC/MFC大版内专家分月排行榜第三
2012年3月 VB大版内专家分月排行榜第三
2011年12月 VB大版内专家分月排行榜第三
2011年10月 VB大版内专家分月排行榜第三
-
-
根据经验，线程数约等于2倍的CPU内核数比较合适，更多的线程效率更低