量化回测避坑指南:识别虚假回测与构建可靠策略

量化回测未来函数过拟合
于 2026-10-29 05:50:24 修改
·本内容遵循CC 4.0 BY-SA版权协议

1. 虚假回测到底在骗谁:先搞清楚回测的本质

做量化的人,十个里有八个在回测上栽过跟头。我自己刚入门那会儿,写了个双均线策略,回测年化收益干到80%多,最大回撤不到5%,夏普比率3以上,兴奋得一晚上没睡着。结果实盘跑了三个月,亏了18%。那种感觉就像你照着菜谱做菜,菜谱上写着“少许盐”,你放了一勺,端上桌才发现人家说的是“一丢丢”。

问题出在哪?出在我拿到的那个漂亮回测曲线,从头到尾就是一场精心编排的骗局——不是别人骗我,是我自己骗自己。

回测的本质是什么? 是用历史数据模拟策略在过去某段时间内的表现,以此推断它在未来可能的表现。注意这里的关键词:“推断”。回测不是预言机,它只是一个统计工具。它的价值取决于三个东西:数据质量、策略逻辑的真实性、以及验证方法的严谨性。任何一环出了问题,回测结果就是废纸一张。

虚假回测的可怕之处在于,它往往不是明目张胆地造假,而是藏在一些看起来很专业的操作里。你用了backtrader、用了pandas、用了ta-lib,代码跑通了,曲线画出来了,一切看起来都很正规。但你的策略可能正在偷看未来、正在过拟合、正在用一个根本不存在的价格成交。这些问题不会报错,不会抛异常,它们只会安安静静地给你一个漂亮的、错误的答案。

谁最容易踩这个坑? 根据我这些年带新人的经验,三类人最危险。第一类是完全自学、没有金融背景的程序员,他们代码能力很强,但对市场微观结构、交易成本、流动性这些东西没有概念,很容易写出理论上完美但实操中根本跑不通的策略。第二类是看了几篇“量化入门”文章就上手的人,他们往往直接抄网上的策略代码,改几个参数就跑回测,根本不知道那些代码里埋了多少雷。第三类是做机器学习出身的人,他们习惯性地把金融数据当成普通数据集来处理,train_test_split一划,交叉验证一跑,觉得万事大吉,殊不知金融时间序列的自相关性会让随机划分变成一场灾难。

这篇文章就是写给这三类人的。我会把虚假回测最常见的几种形态一个一个拆开,告诉你它们是怎么产生的、怎么一眼识破、怎么从根源上避免。不需要你有很深的数学背景,但需要你愿意动手去验证,而不是看到漂亮曲线就上头。

2. 虚假回测的六种典型面孔:从未来函数到幸存者偏差

虚假回测不是一个单一的问题,它是一类问题的统称。我把这些年见过、踩过的坑归了归类,大致有六种典型形态。每一种都有不同的成因和识别方法,但它们的共同点是:都会让你的回测结果显著优于真实水平。

2.1 未来函数:策略偷看了明天的答案

未来函数是虚假回测里最致命、也最常见的一种。它的核心问题是:在某个时间点做决策时,用到了那个时间点之后才能知道的信息。

举个最简单的例子。假设你写了一个策略,用当日收盘价来决定是否买入,然后用当日开盘价来成交。看起来没问题对吧?但如果你用的是日线数据,当日收盘价要到收盘后才能确定,而开盘价在开盘时就已经确定了。你的策略在开盘时“知道”了收盘价,然后以开盘价买入——这就是典型的未来函数。

更隐蔽的未来函数藏在指标计算里。比如你用df['close'].rolling(20).mean()算了一个20日均线,然后判断“如果当前价格上穿20日均线就买入”。问题在于,rolling(20).mean()在计算第t天的值时,用的是第t-19天到第t天的数据。如果你在第t天开盘时就要做决策,那第t天的收盘价你根本不知道,这个均线值你算不出来。正确的做法是用第t-1天及之前的数据来计算均线,然后和第t天的价格比较。

还有一种更隐蔽的:用到了未来才会发布的基本面数据。比如你用财报数据来选股,但财报有发布延迟。Q1的财报可能要到4月底才公布,如果你在3月31日就用上了Q1的财务数据,那就是在偷看未来。

怎么识破? 一个简单的方法是:把你的策略信号和价格数据画在同一张图上,然后逐笔检查。对于每一个买入/卖出信号,问自己一个问题:“在发出这个信号的那个时刻,我是否真的能获得做出这个决策所需的全部信息?”如果答案有任何含糊,那就值得深挖。

2.2 数据拟合:曲线是画出来的,不是跑出来的

过拟合是量化新手最容易掉进去的陷阱,没有之一。它的表现是:策略在历史数据上表现极好,但一到实盘就拉胯。根本原因是,你的策略参数不是基于逻辑设定的,而是基于历史数据“凑”出来的。

我见过一个极端案例。有个朋友用遗传算法优化一个策略的参数,优化了5000代,最后找到一组参数,回测年化收益120%,最大回撤3%。他兴奋地拿给我看,我问他:“你这组参数为什么是这些值?背后的逻辑是什么?”他答不上来。这就是典型的过拟合——参数是为了拟合历史曲线而存在的,没有任何经济含义。

过拟合的识别有一个很实用的方法:参数敏感性分析。如果你的策略在参数A=10时年化50%,A=11时年化-20%,A=12时年化80%,那这个策略大概率是过拟合的。一个稳健的策略,应该在参数的小幅变动下保持相对稳定的表现。如果参数稍微一动,收益就天翻地覆,那说明你的策略拟合的是噪声,不是规律。

另一个方法是样本外测试。把数据分成两段,用前一段优化参数,用后一段验证。如果后一段的表现和前一段差距巨大,那就是过拟合。但要注意,样本外测试本身也有讲究,不能简单地按时间对半砍,后面我会详细说。

2.3 幸存者偏差:你看到的股票都是活下来的

幸存者偏差在股票回测里非常普遍,但很多人根本没意识到它的存在。

假设你在2020年做回测,选股范围是“当前A股所有上市公司”。这个范围里包含了那些在2020年之后上市的公司,也排除了那些在2020年之前退市的公司。但问题是,你在2020年做决策时,怎么可能知道哪些公司会在2020年之后上市?又怎么可能知道哪些公司会退市?

更严重的是,如果你用的是当前的指数成分股来做历史回测,那偏差就更大了。比如你用“当前沪深300成分股”来回测2015年的策略,但2015年的沪深300成分股和现在完全不一样。那些后来被调出指数的股票,往往是因为表现差被剔除的,而你的回测里根本没有它们。这就相当于你只看到了考及格的学生,然后得出结论说“这个班的学生都很优秀”。

怎么解决? 需要用历史成分股数据,也就是每个时间点上真实的指数成分股列表。很多数据源都提供这个数据,但需要额外付费或者自己从历史公告里整理。如果实在拿不到,至少要在回测报告里明确说明这个偏差的存在,并对结果打一个折扣。

2.4 交易成本被忽略:免费的午餐不存在

很多新手写回测时,只考虑价格变动,不考虑交易成本。这在低频策略里可能影响不大,但在高频策略里是致命的。

交易成本包括哪些?佣金、印花税、过户费、滑点。佣金现在普遍是万二到万三,印花税卖出时千一,过户费万零点二。这些加起来,一次完整的买卖(买入+卖出)成本大约在0.15%到0.2%之间。看起来不多对吧?但如果你每天交易一次,一年250个交易日,光交易成本就是37.5%到50%。你的策略得有多高的收益才能覆盖这个成本?

滑点更隐蔽。滑点是指你的预期成交价和实际成交价之间的差异。在流动性好的大盘股上,滑点可能只有0.01%;但在小盘股或者流动性差的标的上,滑点可能高达1%甚至更多。如果你的策略专门挑小盘股交易,而回测里没有考虑滑点,那结果就是空中楼阁。

实操建议: 在回测里至少设置0.1%的单边交易成本(买入和卖出各0.1%),对于小盘股策略,设置0.2%到0.3%。滑点可以用固定值模拟,也可以用成交量比例来动态计算。backtrader里可以通过setcommission和slippage参数来设置,但很多人图省事直接跳过这一步。

2.5 流动性幻觉:你的单子根本成交不了

流动性幻觉是交易成本问题的升级版。它的核心是:回测里假设你的订单总能以当前价格成交,但现实中,如果你的订单量相对于市场成交量太大,你的成交价会严重偏离当前价格。

举个例子。某只小盘股每天的成交量是100万股,你的策略信号显示要买入50万股。在回测里,你直接以当前价格买入了50万股,没有任何问题。但在现实中,当你下单买入50万股时,买盘会迅速吃掉卖单,价格会被推高,你的实际成交均价可能比信号价格高出2%到5%。更糟糕的是,如果市场发现有大单在买,可能会引发跟风,进一步推高价格。

怎么判断? 一个简单的规则:单笔交易金额不要超过该标的日均成交额的1%。如果超过了,要么拆分订单,要么在回测里加入冲击成本模型。冲击成本可以用简单的线性模型来估算:冲击成本 = k * (订单量 / 日均成交量),k是一个经验系数,通常在0.1到0.5之间。

2.6 时间周期错配:用日线数据做日内决策

时间周期错配是一种比较隐蔽的虚假回测。它的表现是:用日线数据回测,但策略逻辑实际上是基于日内信息的。

比如,你写了一个策略:“如果当日最高价突破昨日最高价,则买入”。在日线数据上,你看到当日最高价突破了,然后以当日收盘价买入。但问题是,当日最高价可能出现在开盘后5分钟,也可能出现在收盘前5分钟。如果你在最高价出现时就买入,成交价就是那个最高价;如果你等到收盘才买入,成交价是收盘价。这两种情况在回测里可能被混为一谈。

更严重的是,如果你用日线数据来判断“突破”,然后假设以突破价成交,那就是在用一个你根本无法保证的成交价。因为当价格突破时,你并不知道它会突破,只有事后才知道。

怎么解决? 如果你的策略逻辑涉及日内价格,就必须用分钟级或tick级数据来回测。用日线数据回测日内策略,结果没有任何参考价值。

3. 一眼识破虚假回测的五个实操检查点

知道了虚假回测的六种面孔,接下来就是实操层面的问题:拿到一个回测结果,怎么快速判断它是不是假的?我总结了五个检查点,按顺序过一遍,大部分虚假回测都跑不掉。

3.1 检查一:夏普比率是否高得不正常

夏普比率是衡量风险调整后收益的指标,计算公式是(策略收益 - 无风险收益)/ 策略波动率。一般来说,夏普比率在1以上就算不错,2以上算优秀,3以上就非常罕见了。

如果你看到一个策略的夏普比率超过3,尤其是超过4,第一反应应该是怀疑,而不是兴奋。为什么?因为夏普比率高意味着策略收益稳定、波动小。但在真实市场中,收益和风险是相伴相生的。一个策略如果能在很长时间内保持高收益低波动,要么它找到了某种市场无效性(这种情况极其罕见且通常很快消失),要么回测里有问题。

我见过最夸张的一个回测,夏普比率干到8以上。那个策略的逻辑是“每天买入昨天涨幅最大的股票,持有三天”。回测显示几乎每天都在赚钱。但仔细一看,策略用的是当日收盘价买入,而“昨天涨幅最大”这个信息在昨天收盘后就知道了,所以实际上是在用昨天的信息在今天开盘前做决策,然后以今天的收盘价买入。这中间隔了一整天,价格早就变了。修正之后,夏普比率直接掉到0.5以下。

经验法则:夏普比率超过3的策略,先假设它是假的,然后去找证据证明它是真的。找不到证据,就放弃。

3.2 检查二:最大回撤是否小得不合理

最大回撤是策略从峰值到谷底的最大亏损幅度。这个指标和夏普比率一样,也是识别虚假回测的重要线索。

一个正常的股票策略,最大回撤通常在15%到30%之间。如果是杠杆策略,回撤会更大。如果你看到一个策略的最大回撤只有5%甚至更低,同时收益还很高,那几乎可以确定有问题。

为什么?因为市场本身就有波动。沪深300在2015年股灾时回撤超过40%,在2018年熊市时回撤超过30%,在2020年疫情时回撤超过15%。如果你的策略在这些时期的最大回撤只有5%,那只有两种可能:要么你在这些时期空仓了(但你怎么知道要空仓?),要么你的回测数据有问题。

我见过一个策略,回测显示2015年股灾期间最大回撤只有3%。仔细一看,策略在2015年6月之后就没有交易信号了。为什么?因为策略的参数是在2015年之前的数据上优化的,2015年之后的数据对它来说是“未来”,它根本没有生成信号。这就是典型的样本外失效,但被包装成了“低回撤”。

3.3 检查三:交易频率和持仓周期是否合理

交易频率和持仓周期是判断策略真实性的重要线索。一个策略如果每天交易多次,但用的是日线数据,那几乎可以确定有问题。因为日线数据只有四个价格:开盘、最高、最低、收盘。你无法知道日内价格的变动路径,也就无法准确模拟日内交易。

同样,如果一个策略的持仓周期是几天,但回测里假设以收盘价成交,那也需要警惕。因为收盘价只是一个瞬间的价格,你的订单不一定能在那个价格成交。尤其是对于流动性差的标的,收盘价可能只是最后一笔交易的价格,成交量很小。

合理的做法是: 对于日线策略,假设以次日开盘价成交。这样虽然牺牲了一些收益(因为开盘价可能不如收盘价有利),但更接近现实。对于分钟级策略,假设以信号出现后的下一根K线开盘价成交。永远不要假设以当前价格成交,因为当你看到价格时,那个价格已经过去了。

3.4 检查四:收益曲线是否过于平滑

真实的收益曲线是锯齿状的,有涨有跌,有连续盈利的时期,也有连续亏损的时期。如果你的收益曲线看起来像一条直线向上,那大概率有问题。

过于平滑的收益曲线通常意味着两种情况:一是策略在偷看未来,所以每次都能“预测”对;二是策略经过了过度优化,把历史上的噪声都拟合进去了。这两种情况都会导致实盘表现与回测严重不符。

我习惯把收益曲线和基准指数(比如沪深300)的曲线画在一起对比。如果策略曲线在基准下跌时完全不跌,在基准上涨时涨得更多,那就要小心了。市场系统性风险是很难完全规避的,除非你用了对冲工具,但即使用了对冲,也会有基差风险、展期成本等问题。

3.5 检查五:参数是否经过精细优化

参数优化本身不是问题,问题是优化的程度。如果你只优化了一两个参数,每个参数试了五六个值,那还好。但如果你优化了十个参数,每个参数试了一百个值,那就是在拟合噪声。

一个实用的判断标准是:参数的数量和样本的数量之比。如果你的策略有10个参数,但回测样本只有500个交易日,那参数/样本比就是1:50。这个比例太低了,过拟合的风险极高。一般来说,参数/样本比至少要达到1:200才比较安全,也就是说,10个参数至少需要2000个样本。

另一个判断标准是:最优参数是否处于参数空间的边缘。如果你的最优参数是A=100,而参数搜索范围是1到100,那这个最优值很可能只是边界效应,不是真正的优。稳健的策略,最优参数应该处于参数空间的中间区域。

4. 从根源上避免虚假回测:一套可复现的验证流程

识别虚假回测只是第一步,更重要的是在写策略的时候就避免产生虚假回测。我这些年形成了一套自己的验证流程,虽然不能保证100%避免问题,但至少能把大部分坑填上。

4.1 第一步:数据准备阶段的三个必须

数据是回测的基础,数据出了问题,后面全白搭。在数据准备阶段,有三个必须做到的事情。

必须使用前复权数据。 股票会有分红、送股、配股等除权除息操作,如果不复权,价格会出现跳空,导致虚假的信号。前复权是以当前价格为基准,调整历史价格,使得价格曲线连续。backtrader里可以通过bt.feeds.PandasData的adjclose参数来指定复权价格,但很多人直接用了不复权的数据,结果回测里出现了莫名其妙的暴涨暴跌。

必须检查数据缺失和异常值。 停牌、涨跌停、数据源错误都会导致数据缺失或异常。如果某只股票停牌了三个月,你的策略在这三个月里没有数据,但回测框架可能默认用前一天的价格填充,这就会导致虚假的成交。正确的做法是:停牌期间不交易,或者用停牌前的价格标记,但不产生信号。

必须使用历史成分股数据。 前面说过幸存者偏差的问题,解决办法就是使用每个时间点上真实的指数成分股列表。如果拿不到这个数据,至少要在回测报告里明确说明偏差的存在,并对结果打一个折扣。我通常会在回测收益上打七折,作为对幸存者偏差的粗略修正。

4.2 第二步:策略逻辑的样本外校验设计

样本外校验是防止过拟合的核心手段,但很多人做样本外校验的方式是错的。

最常见的错误是简单按时间对半砍。比如你有2010年到2020年的数据,用2010年到2015年做样本内优化,用2015年到2020年做样本外验证。这样做的问题是,2015年到2020年这段时间你可能已经“知道”了(比如你知道2015年有股灾,2018年有熊市),你在优化参数时会不自觉地考虑到这些信息,导致样本外数据也被污染。

更严谨的做法是滚动窗口校验。把数据分成多个时间段,每次用前一段做样本内优化,用后一段做样本外验证,然后滚动前进。比如:

窗口 样本内 样本外
1 2010-2012 2013
2 2011-2013 2014
3 2012-2014 2015
... ... ...

这样做的好处是,每个样本外时间段都是“未来”,你在优化时不可能知道。缺点是计算量大,但现在的算力完全不是问题。

还有一个更严格的方法是嵌套交叉验证。在样本内再分一层训练集和验证集,用于选择模型超参数,然后用整个样本内数据训练最终模型,在样本外测试。这个方法在机器学习里很常见,但在量化里用得不多,主要是因为金融数据的时间序列特性使得交叉验证的假设不成立。不过对于参数优化来说,嵌套交叉验证仍然是一个值得尝试的方法。

4.3 第三步:交易成本与滑点的合理估算

交易成本和滑点的估算没有标准答案,但有一些经验值可以参考。

佣金: 现在券商普遍是万二到万三,最低5元。如果你资金量小,最低5元的影响很大。比如你每次交易1万元,佣金万三就是3元,但最低5元,实际佣金率就是万五。在回测里,我通常设置单边佣金为0.03%,最低5元。

印花税: 卖出时千一,买入时不收。这个在回测里必须设置,很多人会忘记。

过户费: 万零点二,买卖都收。金额很小,但积少成多。

滑点: 这是最难估算的。对于大盘股,滑点可以设为0.01%到0.05%;对于小盘股,设为0.1%到0.3%。如果策略涉及高频交易,滑点的影响会更大。我通常的做法是:先用一个保守的滑点值(比如0.2%)跑一遍回测,如果策略仍然盈利,再逐步降低滑点值,看策略的盈亏平衡点在哪里。

冲击成本: 如果单笔交易金额超过日均成交额的1%,就需要考虑冲击成本。简单的估算公式是:冲击成本 = 0.1 * sqrt(订单量 / 日均成交量)。这个公式来自Almgren-Chriss模型,虽然简化了很多,但对于粗略估算够用了。

4.4 第四步:回测结果的统计显著性检验

回测结果好不好,不能只看收益和夏普比率,还要看统计显著性。一个策略如果只交易了20次,即使收益很高,也可能只是运气好。

t检验是最常用的方法。计算策略每笔交易收益的均值和标准差,然后算t值:t = 均值 / (标准差 / sqrt(交易次数))。如果t值大于2,说明策略收益在95%置信水平下显著不为零。如果t值小于2,那策略收益可能只是随机波动。

但t检验有一个假设:交易收益是独立同分布的。在金融数据里,这个假设往往不成立,因为交易收益存在自相关和异方差。更严谨的做法是用Newey-West调整,但这对新手来说太复杂了。一个折中的方法是:把交易收益按时间分成几组,分别计算每组的均值和t值,看是否一致。如果各组差异很大,说明策略不稳定。

另一个实用的方法是随机化检验。把策略的信号随机打乱,重新跑回测,重复1000次,看真实策略的收益在随机策略收益分布中的位置。如果真实策略的收益在随机策略收益的95%分位数以上,说明策略确实有超额收益。这个方法计算量大,但逻辑简单,不容易出错。

4.5 第五步:实盘前的模拟盘验证

回测做得再好,也只是纸上谈兵。在投入真金白银之前,至少要用模拟盘跑一段时间。

模拟盘的价值在于:它能暴露回测里发现不了的问题,比如订单执行延迟、部分成交、接口稳定性等。我见过很多策略,回测年化50%,模拟盘跑了一个月,发现每天都有订单被拒绝,因为资金不足或者标的停牌。这些问题在回测里根本不会出现。

模拟盘跑多久合适?我的经验是至少三个月。三个月能覆盖一个完整的季度周期,能遇到财报发布、指数调仓、节假日等特殊事件。如果三个月模拟盘的表现和回测差距在20%以内,那可以考虑小资金实盘。如果差距超过50%,那就得回去检查回测了。

5. 常见问题与排查技巧实录

在实际操作中,虚假回测的表现形式千奇百怪,我整理了一些最常见的问题和对应的排查方法,做成速查表方便对照。

5.1 回测收益高但实盘亏损:排查清单

这是最典型的问题,几乎每个量化新手都会遇到。排查的时候按以下顺序来:

排查项 检查方法 常见问题
未来函数 逐笔检查信号时间戳 用了当日收盘价做决策
过拟合 参数敏感性分析 参数微调导致收益剧变
幸存者偏差 检查股票池构成 用了当前成分股回测历史
交易成本 检查回测成本设置 佣金滑点设为0
流动性 检查单笔交易金额 超过日均成交额1%
时间周期 检查数据频率 日线数据做日内决策

排查的时候,我习惯从未来函数开始查,因为这是最常见也最容易犯的错误。检查方法很简单:在策略的每个决策点,打印出当时能获得的所有数据,然后人工判断这些数据在那个时候是否真的能获得。如果发现任何可疑的地方,就重点排查。

5.2 参数优化后收益暴涨:警惕过拟合

参数优化是过拟合的重灾区。很多人优化完参数,看到收益从30%涨到80%,兴奋得不行,直接上实盘,结果亏得一塌糊涂。

怎么判断参数优化是否过度? 我通常用三个指标:

第一,参数平原的宽度。在最优参数附近,收益应该是一个平缓的曲面,而不是一个尖峰。如果最优参数稍微一动,收益就暴跌,那说明这个最优参数只是拟合了噪声。

第二,样本外衰减率。样本内收益和样本外收益的比值,如果超过3:1,说明过拟合严重。比如样本内年化60%,样本外年化20%,比值3:1,勉强可以接受。如果样本内年化100%,样本外年化10%,比值10:1,那就得重新审视策略了。

第三,参数的经济含义。每个参数都应该有合理的经济解释。比如均线周期参数,20日代表一个月,60日代表一个季度,这些都有交易逻辑支撑。如果你的最优参数是37日,那就得问问自己:为什么是37?有什么特殊含义?如果答不上来,那这个参数很可能只是拟合出来的。

5.3 回测曲线完美但交易次数极少:样本量不足

有些策略回测曲线非常漂亮,但仔细一看,三年只交易了十几次。这种策略的问题在于样本量太小,统计上不可靠。

多少交易次数才够? 一般来说,至少需要100次交易才能做基本的统计分析。如果要做更严谨的检验,需要200次以上。如果交易次数少于50次,那回测结果基本没有参考价值,因为随机性太大。

如果策略逻辑本身导致交易次数少(比如趋势跟踪策略),那可以通过以下方法增加样本量:一是延长回测时间,从三年扩展到十年;二是扩展到多个标的,从一只股票扩展到一篮子股票;三是降低信号阈值,增加交易频率(但要小心引入噪声)。

5.4 数据源切换后回测结果大变:数据质量陷阱

不同数据源的数据质量差异很大,有时候切换数据源后,回测结果会天翻地覆。这通常是因为数据源在复权方式、缺失值处理、异常值修正等方面存在差异。

怎么避免? 第一,固定使用一个可靠的数据源,不要频繁切换。第二,在回测报告里记录数据源的版本和获取时间。第三,如果必须切换数据源,先用重叠时间段做对比,确保数据一致性。第四,对关键数据(如收盘价、成交量)做交叉验证,用两个独立数据源对比,发现差异超过1%的就人工核查。

我自己的做法是:用tushare或akshare获取数据,然后用baostock做交叉验证。如果两个数据源的收盘价差异超过0.5%,就标记出来人工检查。虽然麻烦,但能避免很多坑。

5.5 独家避坑技巧:三个我踩过的坑

第一个坑:用shift(-1)导致未来函数。 我刚学pandas的时候,用df['close'].shift(-1)来获取“明天的收盘价”,然后用来做今天的决策。这看起来很明显是未来函数,但当时我根本没意识到。后来才发现,shift(-1)是把下一行的数据移到当前行,也就是把未来的数据拿到了现在。正确的做法是用shift(1)获取昨天的数据。

第二个坑:用dropna()删除了关键数据。 在计算指标时,前19行会因为rolling(20)而产生NaN。我用dropna()把这些行删掉了,结果回测从第20行开始。但问题是,我删掉的是前19行,而不是后19行。如果我的策略需要用到这些NaN行之前的数据,那就出问题了。正确的做法是保留NaN,在策略逻辑里处理,而不是直接删除。

第三个坑:用train_test_split划分时间序列。 这是我做机器学习时养成的习惯,train_test_split默认是随机划分的。但金融时间序列有自相关性,随机划分会导致训练集和测试集之间有信息泄露。比如测试集里的某一天和训练集里的某一天相邻,它们的价格高度相关,模型在训练时已经“见过”类似的数据了。正确的做法是用TimeSeriesSplit,按时间顺序划分。

6. 工具与框架层面的防坑配置

工欲善其事,必先利其器。backtrader、vnpy、zipline这些框架本身没有问题,但默认配置往往不够严谨,需要手动调整。

6.1 backtrader的防坑配置清单

backtrader是我用得最多的回测框架,功能强大但默认设置比较宽松。以下是我常用的防坑配置:

PYTHON
import backtrader as bt
 
cerebro = bt.Cerebro()
 
# 设置初始资金
cerebro.broker.setcash(100000.0)
 
# 设置佣金:万三,最低5元
cerebro.broker.setcommission(
commission=0.0003,
margin=None,
mult=1.0,
commtype=bt.CommInfoBase.COMM_PERC,
stocklike=True,
percabs=True
)
 
# 设置滑点:0.1%
cerebro.broker.set_slippage_perc(0.001)
 
# 设置成交价:次日开盘价
cerebro.broker.set_coc(False) # 不使用当前收盘价成交
cerebro.broker.set_coo(True) # 使用次日开盘价成交
 
# 添加数据时指定复权价格
data = bt.feeds.PandasData(
dataname=df,
datetime='date',
open='open',
high='high',
low='low',
close='close',
volume='volume',
openinterest=-1,
adjclose='adjclose' # 指定复权价格列
)
cerebro.adddata(data)

这里有几个关键点。set_coc(False)和set_coo(True)确保成交价是次日开盘价,而不是当前收盘价。set_slippage_perc(0.001)设置了0.1%的滑点。adjclose参数指定了复权价格列,确保价格连续性。

6.2 多股回测时的注意事项

多股回测比单股回测复杂得多,主要问题在于资金分配和信号同步。

资金分配: 如果同时交易多只股票,需要决定每只股票分配多少资金。常见的方法有等权重、市值加权、波动率倒数加权等。等权重最简单,但可能导致小盘股占比过高。我通常用波动率倒数加权,让每只股票对组合波动的贡献大致相等。

信号同步: 多只股票的交易日可能不一致(比如有的停牌),需要对齐时间轴。backtrader里可以用cerebro.adddata(data, name='stock1')添加多个数据,然后在策略里用self.datas访问。但要注意,如果某只股票在某天没有数据,backtrader默认会用前一天的数据填充,这可能导致虚假信号。解决办法是在策略里检查数据是否有效,无效则跳过。

仓位管理: 多股回测时,仓位管理更复杂。如果某只股票信号强烈,是否应该加仓?如果多只股票同时发出信号,但资金不够,如何分配?这些问题在单股回测里不存在,但在多股回测里必须考虑。我通常用固定比例仓位,每只股票最多占总资金的10%,避免单只股票风险过大。

6.3 用Python做样本外校验的代码模板

样本外校验是防止过拟合的关键步骤,以下是我常用的代码模板:

PYTHON
import pandas as pd
import numpy as np
from sklearn.model_selection import TimeSeriesSplit
 
def walk_forward_validation(data, strategy_func, n_splits=5):
"""
滚动窗口样本外校验
data: 包含日期和价格的DataFrame
strategy_func: 策略函数,接收训练数据和测试数据,返回测试集收益
n_splits: 划分的窗口数
"""
tscv = TimeSeriesSplit(n_splits=n_splits)
results = []
for train_idx, test_idx in tscv.split(data):
train_data = data.iloc[train_idx]
test_data = data.iloc[test_idx]
# 在训练集上优化参数
best_params = optimize_params(train_data, strategy_func)
# 在测试集上验证
test_return = strategy_func(test_data, best_params)
results.append({
'train_start': train_data.index[0],
'train_end': train_data.index[-1],
'test_start': test_data.index[0],
'test_end': test_data.index[-1],
'test_return': test_return
})
return pd.DataFrame(results)
 
def optimize_params(data, strategy_func):
"""
在训练集上优化参数
这里用简单的网格搜索,实际可以用更复杂的方法
"""
best_sharpe = -np.inf
best_params = None
for param1 in [5, 10, 20, 30, 60]:
for param2 in [0.01, 0.02, 0.05, 0.1]:
sharpe = strategy_func(data, {'param1': param1, 'param2': param2})
if sharpe > best_sharpe:
best_sharpe = sharpe
best_params = {'param1': param1, 'param2': param2}
return best_params

这个模板的核心是TimeSeriesSplit,它按时间顺序划分数据,避免了随机划分导致的信息泄露。每个窗口用前面的数据优化参数,用后面的数据验证,然后滚动前进。最后看所有窗口的样本外收益是否稳定,如果波动很大,说明策略不够稳健。

6.4 数据质量检查的自动化脚本

数据质量检查很繁琐,但可以用脚本自动化。以下是我常用的检查脚本:

PYTHON
import pandas as pd
import numpy as np
 
def check_data_quality(df, date_col='date', price_col='close', volume_col='volume'):
"""
检查数据质量,返回问题列表
"""
issues = []
# 检查缺失值
missing = df.isnull().sum()
if missing.any():
issues.append(f"缺失值统计:\n{missing[missing > 0]}")
# 检查价格异常
price_changes = df[price_col].pct_change().abs()
extreme_changes = price_changes[price_changes > 0.11] # 超过11%的变动
if len(extreme_changes) > 0:
issues.append(f"价格异常变动(超过11%):{len(extreme_changes)}次")
issues.append(f"异常日期:{df.loc[extreme_changes.index, date_col].tolist()[:10]}")
# 检查成交量为零
zero_volume = df[df[volume_col] == 0]
if len(zero_volume) > 0:
issues.append(f"成交量为零的日期:{len(zero_volume)}天")
issues.append(f"日期:{zero_volume[date_col].tolist()[:10]}")
# 检查日期连续性
date_diff = pd.to_datetime(df[date_col]).diff().dt.days
gaps = date_diff[date_diff > 5] # 超过5天的间隔
if len(gaps) > 0:
issues.append(f"日期不连续(间隔超过5天):{len(gaps)}处")
# 检查复权价格是否合理
if 'adjclose' in df.columns:
adj_ratio = df['adjclose'] / df[price_col]
if adj_ratio.std() > 0.01:
issues.append(f"复权价格比例波动过大,标准差:{adj_ratio.std():.4f}")
return issues
 
# 使用示例
issues = check_data_quality(df)
for issue in issues:
print(issue)

这个脚本能自动检查缺失值、价格异常、成交量为零、日期不连续、复权价格异常等问题。每次拿到新数据,先跑一遍这个脚本,能省去很多人工检查的时间。

7. 一个真实案例的完整复盘

说了这么多理论,最后用一个真实案例来收尾。这个案例是我自己踩过的坑,从虚假回测到修正,整个过程很有代表性。

7.1 策略背景与初始回测结果

策略逻辑很简单:双均线+RSI过滤。当5日均线上穿20日均线,且RSI小于70时买入;当5日均线下穿20日均线,或RSI大于80时卖出。标的选的是沪深300成分股,回测时间2018年到2022年。

初始回测结果:年化收益45%,最大回撤12%,夏普比率2.8,交易次数156次。看起来很不错对吧?我当时也觉得找到了圣杯。

7.2 逐步排查发现的问题

第一步,检查未来函数。我把策略信号和价格数据画在一起,逐笔检查。发现一个问题:策略在计算RSI时,用的是当日收盘价,但买入信号是在当日收盘后发出的,然后假设以当日收盘价成交。这就有问题了——收盘后发出信号,怎么可能以收盘价成交?应该以次日开盘价成交。

修正后,年化收益从45%降到32%,最大回撤从12%升到18%。虽然还是不错,但已经没那么惊艳了。

第二步,检查交易成本。初始回测里,佣金和滑点都设为了0。加上万三佣金和0.1%滑点后,年化收益从32%降到24%,最大回撤升到22%。

第三步,检查幸存者偏差。初始回测用的是“当前沪深300成分股”,但2018年的成分股和2022年完全不同。我找到了历史成分股数据,重新回测。年化收益从24%降到18%,最大回撤升到25%。

第四步,检查过拟合。我用滚动窗口校验,发现策略在2018-2019年表现很好,但在2020-2021年表现很差。参数敏感性分析显示,均线周期从20改成22,年化收益从18%降到5%。这说明策略对参数非常敏感,过拟合严重。

7.3 修正后的结果与经验总结

经过四步修正,最终的回测结果是:年化收益12%,最大回撤28%,夏普比率0.6,交易次数156次。这个结果虽然不如初始的45%那么诱人,但它是真实的、可信的。

这个案例给我的教训是:虚假回测的修正过程,就是收益不断缩水的过程。 每修正一个问题,收益就掉一截。但这个过程是必须的,因为只有真实的回测结果,才能指导实盘操作。

我现在做回测,会严格按照以下流程:数据质量检查→未来函数排查→交易成本设置→幸存者偏差修正→样本外校验→参数敏感性分析→模拟盘验证。每一步都不能跳过,每一步都可能让收益缩水,但每一步都让结果更接近真实。

最后分享一个小技巧:把你的回测结果和基准指数对比,如果策略在基准下跌时完全不跌,那大概率有问题。 市场系统性风险是很难完全规避的,除非你用了对冲工具,但即使用了对冲,也会有基差风险、展期成本等问题。一个真实的策略,应该在市场下跌时也会亏钱,只是亏得比市场少。如果市场跌20%,你的策略只跌2%,那要么你空仓了(但你怎么知道要空仓?),要么你的回测有问题。

基于Python+Open CV的手势识别算法设计
伴随着人工智能时代的到来,人机交互的领域也逐渐成为研究的一大方向;其中,手势识别是人机交互领域的一项关键技术,自此手势识别也迎来了一波高潮,近几年无论是在消费领域、电子领域、数码领域、家电领域甚至汽车领域上,都能或多或少的见到手势识别的身影。 手势识别在设计智能高效的人机界面方面具有至关重要的作用, 目前手势识别已应用到手语识别、智能监控、到虚拟现实等各个领域,手势识别的原理都是利用各种传感器(例如红外、摄像头等)对手部的形态进行捕捉并进行建模,形成一个模型信息的序列帧,而后将这些信息序列转换为机器能够识别的相对应指令(例如打开、切换菜单、移动等)来完成控制。 采用Python的集成开发环境Pycharm进行本次课程设计,在Pycharm中进行需要库(模块)的下载,调取电脑摄像头,按帧读取摄像头采集到的头像,形态学处理,图像旋转(由于摄像头采集到的图像是镜像,需要用cv2.flip将摄像头采集到的图像进行处理),选取图片中固定位置作为手势输入,用红线画出手势识别框,基于hsv的肤色检测,进行高斯滤波,找出轮廓,求出图像中手势的凹凸点,手指间角度求取。
努力学习前端的小陈
ArcGIS Pro入门制图教程
地理信息系统 (GIS) 是一种使用地图显示和分析数据的方式。在本教程中,您将学习桌面 GIS 应用程序 ArcGIS Pro 的基础知识。新加坡的一家旅行社希望制作一款宣传册,用于向游客介绍距离市中心热门目的地最近的火车站。该宣传册将与带有文本信息的地图相结合,并在城市的自助设备中出售。您将帮助该旅行社绘制旅游景点的地图,分析其与火车站的距离以及更改地图的外观以使其在视觉上更具吸引力。在 ArcGIS Pro 中,地图和数据通常被组织在一个工程中。开始制作地图之前,您将创建一个工程。
科研online
ArcGIS Pro 布局创建与地图加载全流程解析
本文详细解析了ArcGIS Pro中布局创建与地图加载的全流程。针对从ArcMap转来的用户,重点阐述了布局与地图解耦的核心设计理念,并提供了从新建布局、设置参考比例尺、加载地图框到深度控制与精细化排版的实用技巧,帮助用户高效制作专业地图。
您的账号已被封禁
ArcGIS PRO布局视图避坑指南:地图框添加与专题图制作的5个关键步骤
本文针对ArcGIS PRO用户在布局视图中制作专题图时遇到的常见问题,提供了地图框添加与专题图制作的5个关键步骤避坑指南。从理解布局视图思维、数据框预处理、地图元素协同配置,到深化视觉层次与最终输出检查,系统讲解了如何高效产出严谨美观的专业地图,帮助用户跨越从数据分析到地图输出的最后一公里。
冰炭不同炉
ROS-CV-ImageConverter:将ROS图像转换为OpenCV(cv :: Mat)类型的图像
ROS-CV图像转换器 依存关系 cv_bridge(ROS软件包)
Willis Wang
计算机视觉图像处理-CV2与图像插值算法
用最近邻插值与双线性插值原理完成图像缩放 最近邻插值,是指将目标图像中的点,对应到源图像中后,找到最相邻的整数点,作为插值后的输。缺点:使用最近邻插值算法处理图像放大时,在图象中可能出现明显的块状效应 双线性插值,在两个方向上做三次线性插值。使用双线性插值算法处理图像放大时,在图象中可能出现马赛克 代码 import cv2 img = cv2.imread(’./xiabang.jpg’, cv2.IMREAD_UNCHANGED) #缩放比例 scale_percent = 0.3 width = int(img.shape[1] * scale_percent) height = int
weixin_38697274
基于水平集CV模型的图像分割(Matlab代码)
基于水平集CV模型的图像分割(Matlab代码),全套代码
小宇QAQ
导向滤波(guide_filter)的python实现
导向滤波(guide_filter)的python实现,可以结合暗通道;理论实现比较好的图像去噪效果。
zachzhan_g
ArcGIS Pro 如何新建布局
你是否已经习惯了在ArcGIS中数据视图和布局视图之间来回切换,到了ArcGIS Pro中却找不到二者之间切换的按钮,即使新建布局后却发现地图怎么却是一片空白。从上面的图中可以看到,虽然新建了布局,但是地图还是空白的,如果想要显示地图还需要加载一下,将地图加载进来。在新建的布局上绘制一个框,作为地图显示的范围,绘制后可以看到地图已经完成加载,如下图所示。在菜单栏上选择插入,点击新建布局下拉箭头,选择一个合适的尺寸,如下图所示。点击后完成布局的新建,新建的布局如下图所示。
水经注GIS
ArcGIS Pro数据修复与图层管理实战指南
本文是ArcGIS Pro数据修复与图层管理的实战指南。针对数据源丢失导致的“红色叹号”问题,详细讲解了一键批量修复和进阶手动修复策略,并分享了使用相对路径、打包工程等防患于未然的黄金法则。同时,深入介绍了如何利用图层组进行高效的地图内容组织、比例尺控制与批量操作,帮助用户构建清晰、智能的专业地图,大幅提升GIS项目管理效率。
Tomato
ArcGIS Pro布局设计实战:从空白页面到专业地图输出的完整工作流
本文详细解析了ArcGIS Pro中从“新建布局”开始,到输出专业地图的完整工作流。内容涵盖布局哲学、地图框深度运用、制图元素集成及视觉排版等核心环节,旨在帮助中级用户掌握项目驱动的现代化制图方法,实现从数据到出版级地图的精准转化。
AnjneyMidha
ArcGIS PRO布局视图避坑指南:地图框添加与坐标系设置的5个常见错误
本文针对ArcGIS PRO用户在布局视图中常遇的难题,重点解析了地图框添加与坐标系设置的5个常见错误。从地图框的创建逻辑、坐标系冲突的根源剖析,到地图范围控制、元素联动更新以及打印导出设置,提供了一套完整的避坑指南与实战解决方案,帮助用户高效、精准地完成地图制图与输出工作。
重离子猫猫
ArcGIS Pro布局设计避坑指南:为什么你的地图总是显示空白?
本文深入解析ArcGIS Pro布局设计中地图显示空白的常见问题,提供从基础操作到高级排错的完整解决方案。重点讲解地图框的正确使用方法、布局元素配置技巧,以及多地图框协同工作等进阶功能,帮助用户快速掌握专业地图制作的核心技术。
习翔宇
CV算法(MATLAB)
chan 和 vese 提出的经典CV模型
beastLOVE
GrabCut:使用opencv-python cv2.grabCut交互式剪切图像
GrabCut 使用opencv-python cv2.grabCut交互式剪切图像
Aaron Gary
Opencv-Python图像透视变换cv2.warpPerspective的示例
今天小编就为大家分享一篇关于Opencv-Python图像透视变换cv2.warpPerspective的示例,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来看看吧
weixin_38711369
leetcodecv-Kylin:CV算法岗面经&LeetCode刷题总结
leetcode cv Kylin CV算法岗面经 & LeetCode刷题总结 不断更新中。。。。 面试&笔试经验 LeetCode
weixin_38499553
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS.pdf
基恩士CV-X系列相机控制器用户手册CV-X Series Users Manual_CHS真的很不错,
weixin_43905342
ArcGIS布局视图方向调整与优化技巧
地图布局方向是GIS制图的基础设置,直接影响空间数据的可视化效果。横向(Landscape)和竖向(Portrait)布局通过调整页面长宽比例,可优化不同地理要素的展示方式。在ArcGIS等专业制图软件中,方向设置会联动影响比例尺、图例等核心元素的自动适配逻辑。本文以A4纸张为例,详解通过页面设置、Python脚本批处理等技术手段实现布局方向的高效调整,并针对比例尺失准、图例溢出等典型问题提供工程解决方案。特别适用于带状区域地图制作等需要最大化利用版面空间的场景,可提升40%以上的图面利用率。
塞音菩光
ArcGIS Pro 3.4必学新功能:符号系统与布局视图的可见性联动(含省时技巧)
ArcGIS Pro 3.4引入了符号系统与布局视图的可见性联动功能,通过唯一值符号化和复选框控制,实现原子级要素显示/隐藏。这一创新极大提升了制图效率,支持在符号系统窗格、内容窗格和布局视图中同步操作,特别适合城市规划、环境监测等需要动态展示的场景。
t8u9v0
ArcGIS Pro 布局创建与地图加载全攻略
本文详细解析了ArcGIS Pro中布局与地图分离的设计哲学,并提供了从新建布局到加载地图的完整操作指南。重点介绍了如何通过“插入”选项卡新建布局、选择合适的页面尺寸,以及使用地图框工具将项目中的地图动态链接至布局。文章还涵盖了地图范围控制、比例尺锁定、图例添加等深度定制技巧,帮助用户高效创建专业地图并导出为高质量成果。
milk8
ArcGIS多图布局实战:从数据框管理到批量导出的完整指南
在地理信息系统(GIS)制图领域,将多张地图高效整合到单一版面是提升分析报告专业性与表现力的关键技术。其核心原理在于理解并运用数据框与布局视图的分离机制,通过独立的数据框承载不同区域或专题的地理数据,并在统一的布局视图中进行精确排版与视觉整合。这项技术的核心价值在于实现了制图流程的标准化与自动化,避免了传统拼图方式带来的效率低下与更新困难问题,尤其适用于区域对比、时间序列分析、综合评估报告等需要多视角、多维度展示地理信息的应用场景。本文聚焦于ArcGIS Pro平台,深入剖析了多图布局中数据框范围联动、地图
aaa1231722
monolithic-cv:CV算法的集合
单片-cv 计算机视觉算法转储
晨曦姜
改进的cv图像分割
改进的cv图像分割,对学习cv模型有帮助
a904235765
C++实现基于暗通道与导向滤波的图像去雾算法
资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 在图像处理领域,图像去雾技术用于消除大气散射导致的模糊,提升图像清晰度和视觉质量。本文将介绍一种基于暗通道和导向滤波的图像去雾算法,并探讨如何使用C++和OpenCV库实现。 暗通道理论由Jia等人于2006年提出。他们发现自然场景中存在一些低亮度像素,通常位于无直射光区域。这些像素被称为暗通道像素,可用于估计大气散射模型中的透射率。具体方法是将图像分块,在每块中找到最暗像素值作为暗通道像素。 大气散射模型是图像去雾的基础,描述了光线在大气中传播时的散射影响。模型公式为: I(x)=T(x)×J(x)+A×(1−T(x)) 其中,T(x)是透射率,J(x)是无雾图像亮度,A是全局大气光。透射率与散射程度成反比,无雾图像亮度反映物体本身色彩。 利用暗通道先验,可以近似估计透射率。假设D(x)为暗通道像素,透射率T(x)可通过迭代公式计算: T k+1 (x)= max(D)+ϵ D(x) +(1− max(D)+ϵ D(x) )×T k (x) 其中,k是迭代次数,ϵ是小常数,用于避免除零。 估计透射率后,使用导向滤波器平滑透射率图,减少噪声和边缘失真。导向滤波是一种自适应局部滤波方法,可保持图像边缘细节,同时进行平滑处理。在图像去雾中,它根据图像梯度信息指导滤波过程,更好地恢复图像清晰度。 通过大气散射模型,可得到去雾后的图像: J out (x)= T(x) I(x)−A×(1−T(x)) +A 在C++中,可借助OpenCV库处理图像数据。首先读取输入图像,然后提取暗通道,估计透射率,应用导向滤波,最终恢复无雾图像。OpenCV提供了丰富的图像处理函数,如cv::split用于分离通道,cv::min用于找最小值,cv::filter2D用于导向滤波,cv::imwrite用于保存
KaiyuanCode
cv模型图像分割matlab源程序
cv模型 matlab 图像分割源码,逻辑清晰,注释详尽。
phoenix01
CV图像分割
从pud找到的CV图像分割代码,代码的通过较少的迭代次数就可以实现图像的分割,对学习CV分割有帮助。
a904235765
ArcGIS Pro 3.0 布局视图实战:5分钟搞定专业地图的图例、比例尺与指北针
本文详细介绍了ArcGIS Pro 3.0布局视图的实战技巧,帮助用户在5分钟内高效添加图例、比例尺与指北针,打造专业地图。通过智能图例、动态比例尺和现代化指北针设计,提升制图效率与美观度,特别适合GIS初学者和从ArcMap迁移的用户。
weixin_30652491
ArcGIS Pro界面突然消失?3种恢复方法+自定义布局技巧
本文针对ArcGIS Pro用户常见的操作界面元素突然消失问题,提供了三种核心恢复方法:通过“视图”功能区一键唤回、利用“重置窗格”命令恢复默认布局,以及通过应用程序设置进行深度恢复。文章还深入讲解了如何通过停靠、分组窗格以及自定义功能区等技巧,打造高效个性化的操作界面,帮助用户从被动解决问题转向主动优化工作环境。
nnn11
关于影响力最大化问题中贪心算法的一些理解
在影响力最大化问题中(Influence Maximization,以下简称IM),贪心算法是最早提出的一种解决方法,并且一直沿用至今。它基于IM问题所具有的单调性(Monotonicity)和子模性(Submodularity)使用一种Hill Climbing策略,不断使用Monte Carlo模拟来寻找在当前情况下的具有最大传播范围的节点,添加至种子集合,得到最终结果,算法伪代码如下所示: 这里算法1其实并没有使用MonteCarlo模拟,而只是使用了贪心的策略...
nianjuan1990