性能调优难题-CSDN论坛

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856 结帖率 100%: 下图为vs2010采用CPU采样的性能分析报告（release版本），其中红线部分相当困惑，为什么开销这么大？

release的反汇编如下：

debug的反汇编如下：

从反汇编来看，release将cmp优化成test。

0 2013-03-03 19:51:27

回复数 26 只看楼主引用举报楼主

⋅linux有什么roll logging的命令？ ⋅这个问题有啥好的位运算写法？ ⋅求一个函数的优化 更多帖子 关注空间博客 FancyMouse 本版专家分：15623 红花 2013年8月高性能开发大版内专家分月排行榜第一 2013年3月高性能开发大版内专家分月排行榜第一 2013年1月高性能开发大版内专家分月排行榜第一 2012年12月高性能开发大版内专家分月排行榜第一 2012年11月高性能开发大版内专家分月排行榜第一 2012年10月专题开发/技术/项目大版内专家分月排行榜第一 2012年9月专题开发/技术/项目大版内专家分月排行榜第一 2012年8月专题开发/技术/项目大版内专家分月排行榜第一 黄花 2013年5月高性能开发大版内专家分月排行榜第二 2013年4月高性能开发大版内专家分月排行榜第二: 慢的不是cmp是jne

0 2013-03-03 20:06:40

只看TA 引用举报 #1 得分 10

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: ??
第33行代码同样有jne指令，并且还是cmp而不是test，为何这两行（26、33）的开销对比如此大（这两行执行的次数完全一样多）

0 2013-03-03 20:40:52

只看TA 引用举报 #2 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: Sorry，首页的反汇编搞错类了，不过都差不多，还是以上问题，对比首页33行的反汇编和26行的反汇编，为什么这两行代码的执行效率差别这么大。
一下重贴26行的反汇编

0 2013-03-03 20:46:06

只看TA 引用举报 #3 得分 0

⋅上海不是实行垃圾分类了吗？ ⋅自动驾驶汽车上路之前，先完善对应的交通事故处理的法律法规再说。 ⋅VC/MFC和VB6拒绝我回帖了！ 更多帖子 关注空间博客 赵4老师 本版专家分：380708 状元 2017年总版技术专家分年内排行榜第一 榜眼 2014年总版技术专家分年内排行榜第二 探花 2013年总版技术专家分年内排行榜第三 进士 2018年总版新获得的技术专家分排名前十 2012年总版技术专家分年内排行榜第七: 在用人脑判断效率瓶颈之前，请先用Profiler工具。

0 2013-03-04 10:57:59

只看TA 引用举报 #4 得分 20

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 4 楼 zhao4zhong1 的回复:
在用人脑判断效率瓶颈之前，请先用Profiler工具。

首页就是profile工具的分析结果

0 2013-03-04 11:43:57

只看TA 引用举报 #5 得分 0

⋅关于mysql一个存储过程耗时很长的问题，求优化思路 ⋅linux下，c++11的regex的问题 ⋅年前水一帖，散分 更多帖子 关注空间博客 zilaishuichina 本版专家分：12362 蓝花 2014年7月 C/C++大版内专家分月排行榜第三 2014年6月 C/C++大版内专家分月排行榜第三: if的命中率的问题吧

0 2013-03-04 11:51:40

只看TA 引用举报 #6 得分 10

zhao4zhong2 本版专家分：98: 用C语言1000行源码能完成的工作千万不要用C++重写！

0 2013-03-04 12:03:54

只看TA 引用举报 #7 得分 10

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 6 楼 zilaishuichina 的回复:
if的命中率的问题吧

很不幸，不是

反汇编出来只是将jne改成了je

0 2013-03-04 12:44:37

只看TA 引用举报 #8 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 7 楼 zhao4zhong2 的回复:
用C语言1000行源码能完成的工作千万不要用C++重写！

您回错帖了吧！

0 2013-03-04 12:49:37

只看TA 引用举报 #9 得分 0

⋅上海不是实行垃圾分类了吗？ ⋅自动驾驶汽车上路之前，先完善对应的交通事故处理的法律法规再说。 ⋅VC/MFC和VB6拒绝我回帖了！ 更多帖子 关注空间博客 赵4老师 本版专家分：380708 状元 2017年总版技术专家分年内排行榜第一 榜眼 2014年总版技术专家分年内排行榜第二 探花 2013年总版技术专家分年内排行榜第三 进士 2018年总版新获得的技术专家分排名前十 2012年总版技术专家分年内排行榜第七: 引用 9 楼 moolleychean 的回复:
引用 7 楼 zhao4zhong2 的回复:用C语言1000行源码能完成的工作千万不要用C++重写！

您回错帖了吧！

所以这个肯定是假马甲嘛。

0 2013-03-04 13:27:12

只看TA 引用举报 #10 得分 0

raison_x 本版专家分：50: 这个差别貌似可以忽略不计。
那个1.1%就算降到0.1%也没有意义。

0 2013-03-07 15:45:17

只看TA 引用举报 #11 得分 30

⋅上海不是实行垃圾分类了吗？ ⋅自动驾驶汽车上路之前，先完善对应的交通事故处理的法律法规再说。 ⋅VC/MFC和VB6拒绝我回帖了！ 更多帖子 关注空间博客 赵4老师 本版专家分：380708 状元 2017年总版技术专家分年内排行榜第一 榜眼 2014年总版技术专家分年内排行榜第二 探花 2013年总版技术专家分年内排行榜第三 进士 2018年总版新获得的技术专家分排名前十 2012年总版技术专家分年内排行榜第七: 我只注意到楼主提供图片中的
6.1% 32 ……
39.1% 40 ……

0 2013-03-07 16:33:06

只看TA 引用举报 #12 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 11 楼 raison_x 的回复:
这个差别貌似可以忽略不计。
那个1.1%就算降到0.1%也没有意义。

道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。

0 2013-03-07 23:21:15

只看TA 引用举报 #13 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 12 楼 zhao4zhong1 的回复:
我只注意到楼主提供图片中的
6.1% 32 ……
39.1% 40 ……

6.1%的这个差不多到极限了，对象的数目太多了，上百万。
改用boost::unordered_map效率稍微好点，不过会增clean线程和锁的开销，总体差不多。

39.1%的是后面的主处理流程，正在进一步优化。

0 2013-03-07 23:25:55

只看TA 引用举报 #14 得分 0

⋅此用户还没有发表过任何帖子 关注空间博客 raison_x 本版专家分：50: 引用 13 楼 moolleychean 的回复:
引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
那个1.1%就算降到0.1%也没有意义。

道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。

test & jne/je 不可能会带来这么大的开销，可能这个问题不在于 line 26，而在于 line 25. 你在 line 25 后面弄个简单的语句试试看，比如一个简单的加法运算，有可能这个简单的加法会让我们吃一惊。

0 2013-03-08 07:21:49

只看TA 引用举报 #15 得分 0

⋅postgres等单机数据库为什么要支持两阶段提交 ⋅怎样在redhat6系统挂载redhat7的磁盘 ⋅awk 打印指定字段 更多帖子 关注空间博客 ma100 本版专家分：8754: 一个简单语句被调用100000次也会比复杂指令调用1次耗时

0 2013-03-08 09:36:32

只看TA 引用举报 #16 得分 10

简单-扩展-重用 本版专家分：1584: 单纯看汇编不会这么慢，是不是后面的跳转遇到上下文切换了。Lz多测几次，取个平均看看

0 2013-03-08 10:10:07

只看TA 引用举报 #17 得分 10

⋅上海不是实行垃圾分类了吗？ ⋅自动驾驶汽车上路之前，先完善对应的交通事故处理的法律法规再说。 ⋅VC/MFC和VB6拒绝我回帖了！ 更多帖子 关注空间博客 赵4老师 本版专家分：380708 状元 2017年总版技术专家分年内排行榜第一 榜眼 2014年总版技术专家分年内排行榜第二 探花 2013年总版技术专家分年内排行榜第三 进士 2018年总版新获得的技术专家分排名前十 2012年总版技术专家分年内排行榜第七: 擒贼先擒王！

0 2013-03-08 11:18:19

只看TA 引用举报 #18 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856

引用 15 楼 raison_x 的回复:

引用 13 楼 moolleychean 的回复:引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
那个1.1%就算降到0.1%也没有意义。

道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。

test & jne/je 不可能会带来这么大的开销，可能这个问题不在于 line 26，而在于 line……

这个可能在点子上了，我也怀疑是数组取值的问题，这个数组有1M，参看下面一个64k的数组取值：

红色部分效率不高，之前是这么写的：



    if (cell_id_array_[bvci] == 0) {

        helper_->update_bssgp_dl_unitdata__stats(BSSGP_DL_UNITDATA_CELL_UNFOUND);

        return;

    }

    bssgp_unitdata_head.cell_id = cell_id_array_[bvci];

那个0.6%的CPU占用就出在if (cell_id_array_[bvci] == 0)这一行。

是否可能页面错误导致？这一块我不是很熟悉，但是我将windows的虚拟内存完全禁用后，程序的页面错误变化不大。
是否可能CPU cache命中率太低导致？对于这种大数组，不可能全部读进cache。

0 2013-03-08 11:28:04

只看TA 引用举报 #19 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 18 楼 zhao4zhong1 的回复:
擒贼先擒王！

我对于技术的态度是，知其然，更要知其所以然。虽然我的行业是移动通信，但是对于C++开发的态度是一致的。

0 2013-03-08 11:33:53

只看TA 引用举报 #20 得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 17 楼 givemekey 的回复:
单纯看汇编不会这么慢，是不是后面的跳转遇到上下文切换了。Lz多测几次，取个平均看看

测了很多次了，差不多没有什么变化。

0 2013-03-08 11:36:42

只看TA 引用举报 #21 得分 0

⋅此用户还没有发表过任何帖子 关注空间博客 raison_x 本版专家分：50: 引用
引用 15 楼 raison_x 的回复:
    引用 13 楼 moolleychean 的回复:引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
    那个1.1%就算降到0.1%也没有意义。
    道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。
    test & jne/je 不可能会带来这么大的开销，可能这个问题不在于 line 26，而在于 line……
这个可能在点子上了，我也怀疑是数组取值的问题，这个数组有1M，参看下面一个64k的数组取值：
......
是否可能页面错误导致？这一块我不是很熟悉，但是我将windows的虚拟内存完全禁用后，程序的页面错误变化不大。
是否可能CPU cache命中率太低导致？对于这种大数组，不可能全部读进cache。

如果你监测到了页面错误较多，说明内存吃紧，已经发生了较多的磁盘交换内存页面了，那会有影响，用 profiler 监测的时候，profiler 和你的程序是一起跑的，profiler要做更多的工作，消耗更多的内存，这也会导致你的程序内存紧张。
CPU cache命中率对单条语句的影响不会这么夸张，这么大的影响更有可能是背后发生了磁盘操作。如果可能的话，修改一下程序，改成直接的物理内存（不用malloc/new）试试看。

0 2013-03-08 14:50:55

只看TA 引用举报 #22    得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 22 楼 raison_x 的回复:
引用引用 15 楼 raison_x 的回复:
    引用 13 楼 moolleychean 的回复:引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
    那个1.1%就算降到0.1%也没有意义。
    道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。
    test & jne/je 不可……

“如果你监测到了页面错误较多，说明内存吃紧”，这句是错误的。
这个图还是在将windows虚拟内存完全禁用后截取的：

以下问题搞不明白：
将windows虚拟内存完全禁用后，内存会交换到什么地方？
如果没有磁盘分页文件可以交换，为什么还会出现page fault？

0 2013-03-08 18:51:42

只看TA 引用举报 #23    得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 23 楼 moolleychean 的回复:
引用 22 楼 raison_x 的回复:引用引用 15 楼 raison_x 的回复:
    引用 13 楼 moolleychean 的回复:引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
    那个1.1%就算降到0.1%也没有意义。
    道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。
   ……

忘了说配置了：

0 2013-03-08 18:56:24

只看TA 引用举报 #24    得分 0

⋅此用户还没有发表过任何帖子 关注空间博客 raison_x 本版专家分：50: 引用
引用 22 楼 raison_x 的回复:

    引用引用 15 楼 raison_x 的回复:
        引用 13 楼 moolleychean 的回复:引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
        那个1.1%就算降到0.1%也没有意义。
        道理没错，不是主要的开销，但是不明不白的出现这么一个不合情理的开销，心里头不舒服。
        test & jne/je 不可……
“如果你监测到了页面错误较多，说明内存吃紧”，这句是错误的。
以下问题搞不明白：
将windows虚拟内存完全禁用后，内存会交换到什么地方？
如果没有磁盘分页文件可以交换，为什么还会出现page fault？

以下假设所说的页面错误指 Page Fault.
如果已经将虚拟内存完全禁用了，那应该不存在内存和页面文件的交换。这时出现 page fault 可以忽略，它仍然是从物理内存读写，而且我们也没有确定是在那个时间点发生了 page fault。
你的 i7 有6M的cache，程序应该还是蛮大机会占用一点的。如果是因为数组太大导致cache的切换，而导致CPU消耗偏多的话，也是有可能的，0.8/0.1 ＝ 8，和内存/cache速率比也相近。进行每条语句的消耗时间探测的话，每条语句之间都要有探针代码，实际在CPU里面运行的情况要比汇编代码所显示的复杂。
虽然未能肯定是何原因，但是和内存存取紧密相关这一点是最可能的。或者试下改变 line 25 的数组的大小，从1k到1M不等，对比看看。

0 2013-03-08 21:42:37

只看TA 引用举报 #25    得分 0

⋅性能调优难题 ⋅模版类的typedef问题（在线等） ⋅限定类的<<操作符（函数模板）输入的为整数类型 更多帖子 关注空间博客 moolleychean 本版专家分：856: 引用 25 楼 raison_x 的回复:
引用引用 22 楼 raison_x 的回复:

    引用引用 15 楼 raison_x 的回复:
        引用 13 楼 moolleychean 的回复:引用 11 楼 raison_x 的回复:这个差别貌似可以忽略不计。
        那个1.1%就算降到0.1%也没有意义。
        道理没错，不是主要的开销，但是不明不白的出现这么……

之前的两个问题已经弄明白了，page fault 分为 hard和soft两种。

首页的问题我现在更倾向于CPU采样的不准确性导致的。
在整个测试过程中除了帖子中列出的，实际上还有一些不太理解的较大的开销，比如：

update_user_ip_kpi函数逻辑也很简单，一些比较和加法语句而已，但是与主处理逻辑相比开销是其差不多30%。
使用检测方式重新测量的结果如下：

两者的比值就只有不到7%了。

0 2013-03-10 18:39:06

只看TA 引用举报 #26    得分 0

性能调优难题 [问题点数：100分，结帖人moolleychean]