量化回测避坑指南:识别虚假回测与构建可靠策略
1. 虚假回测到底在骗谁:先搞清楚回测的本质
做量化的人,十个里有八个在回测上栽过跟头。我自己刚入门那会儿,写了个双均线策略,回测年化收益干到80%多,最大回撤不到5%,夏普比率3以上,兴奋得一晚上没睡着。结果实盘跑了三个月,亏了18%。那种感觉就像你照着菜谱做菜,菜谱上写着“少许盐”,你放了一勺,端上桌才发现人家说的是“一丢丢”。
问题出在哪?出在我拿到的那个漂亮回测曲线,从头到尾就是一场精心编排的骗局——不是别人骗我,是我自己骗自己。
回测的本质是什么? 是用历史数据模拟策略在过去某段时间内的表现,以此推断它在未来可能的表现。注意这里的关键词:“推断”。回测不是预言机,它只是一个统计工具。它的价值取决于三个东西:数据质量、策略逻辑的真实性、以及验证方法的严谨性。任何一环出了问题,回测结果就是废纸一张。
虚假回测的可怕之处在于,它往往不是明目张胆地造假,而是藏在一些看起来很专业的操作里。你用了backtrader、用了pandas、用了ta-lib,代码跑通了,曲线画出来了,一切看起来都很正规。但你的策略可能正在偷看未来、正在过拟合、正在用一个根本不存在的价格成交。这些问题不会报错,不会抛异常,它们只会安安静静地给你一个漂亮的、错误的答案。
谁最容易踩这个坑? 根据我这些年带新人的经验,三类人最危险。第一类是完全自学、没有金融背景的程序员,他们代码能力很强,但对市场微观结构、交易成本、流动性这些东西没有概念,很容易写出理论上完美但实操中根本跑不通的策略。第二类是看了几篇“量化入门”文章就上手的人,他们往往直接抄网上的策略代码,改几个参数就跑回测,根本不知道那些代码里埋了多少雷。第三类是做机器学习出身的人,他们习惯性地把金融数据当成普通数据集来处理,train_test_split一划,交叉验证一跑,觉得万事大吉,殊不知金融时间序列的自相关性会让随机划分变成一场灾难。
这篇文章就是写给这三类人的。我会把虚假回测最常见的几种形态一个一个拆开,告诉你它们是怎么产生的、怎么一眼识破、怎么从根源上避免。不需要你有很深的数学背景,但需要你愿意动手去验证,而不是看到漂亮曲线就上头。
2. 虚假回测的六种典型面孔:从未来函数到幸存者偏差
虚假回测不是一个单一的问题,它是一类问题的统称。我把这些年见过、踩过的坑归了归类,大致有六种典型形态。每一种都有不同的成因和识别方法,但它们的共同点是:都会让你的回测结果显著优于真实水平。
2.1 未来函数:策略偷看了明天的答案
未来函数是虚假回测里最致命、也最常见的一种。它的核心问题是:在某个时间点做决策时,用到了那个时间点之后才能知道的信息。
举个最简单的例子。假设你写了一个策略,用当日收盘价来决定是否买入,然后用当日开盘价来成交。看起来没问题对吧?但如果你用的是日线数据,当日收盘价要到收盘后才能确定,而开盘价在开盘时就已经确定了。你的策略在开盘时“知道”了收盘价,然后以开盘价买入——这就是典型的未来函数。
更隐蔽的未来函数藏在指标计算里。比如你用df['close'].rolling(20).mean()算了一个20日均线,然后判断“如果当前价格上穿20日均线就买入”。问题在于,rolling(20).mean()在计算第t天的值时,用的是第t-19天到第t天的数据。如果你在第t天开盘时就要做决策,那第t天的收盘价你根本不知道,这个均线值你算不出来。正确的做法是用第t-1天及之前的数据来计算均线,然后和第t天的价格比较。
还有一种更隐蔽的:用到了未来才会发布的基本面数据。比如你用财报数据来选股,但财报有发布延迟。Q1的财报可能要到4月底才公布,如果你在3月31日就用上了Q1的财务数据,那就是在偷看未来。
怎么识破? 一个简单的方法是:把你的策略信号和价格数据画在同一张图上,然后逐笔检查。对于每一个买入/卖出信号,问自己一个问题:“在发出这个信号的那个时刻,我是否真的能获得做出这个决策所需的全部信息?”如果答案有任何含糊,那就值得深挖。
2.2 数据拟合:曲线是画出来的,不是跑出来的
过拟合是量化新手最容易掉进去的陷阱,没有之一。它的表现是:策略在历史数据上表现极好,但一到实盘就拉胯。根本原因是,你的策略参数不是基于逻辑设定的,而是基于历史数据“凑”出来的。
我见过一个极端案例。有个朋友用遗传算法优化一个策略的参数,优化了5000代,最后找到一组参数,回测年化收益120%,最大回撤3%。他兴奋地拿给我看,我问他:“你这组参数为什么是这些值?背后的逻辑是什么?”他答不上来。这就是典型的过拟合——参数是为了拟合历史曲线而存在的,没有任何经济含义。
过拟合的识别有一个很实用的方法:参数敏感性分析。如果你的策略在参数A=10时年化50%,A=11时年化-20%,A=12时年化80%,那这个策略大概率是过拟合的。一个稳健的策略,应该在参数的小幅变动下保持相对稳定的表现。如果参数稍微一动,收益就天翻地覆,那说明你的策略拟合的是噪声,不是规律。
另一个方法是样本外测试。把数据分成两段,用前一段优化参数,用后一段验证。如果后一段的表现和前一段差距巨大,那就是过拟合。但要注意,样本外测试本身也有讲究,不能简单地按时间对半砍,后面我会详细说。
2.3 幸存者偏差:你看到的股票都是活下来的
幸存者偏差在股票回测里非常普遍,但很多人根本没意识到它的存在。
假设你在2020年做回测,选股范围是“当前A股所有上市公司”。这个范围里包含了那些在2020年之后上市的公司,也排除了那些在2020年之前退市的公司。但问题是,你在2020年做决策时,怎么可能知道哪些公司会在2020年之后上市?又怎么可能知道哪些公司会退市?
更严重的是,如果你用的是当前的指数成分股来做历史回测,那偏差就更大了。比如你用“当前沪深300成分股”来回测2015年的策略,但2015年的沪深300成分股和现在完全不一样。那些后来被调出指数的股票,往往是因为表现差被剔除的,而你的回测里根本没有它们。这就相当于你只看到了考及格的学生,然后得出结论说“这个班的学生都很优秀”。
怎么解决? 需要用历史成分股数据,也就是每个时间点上真实的指数成分股列表。很多数据源都提供这个数据,但需要额外付费或者自己从历史公告里整理。如果实在拿不到,至少要在回测报告里明确说明这个偏差的存在,并对结果打一个折扣。
2.4 交易成本被忽略:免费的午餐不存在
很多新手写回测时,只考虑价格变动,不考虑交易成本。这在低频策略里可能影响不大,但在高频策略里是致命的。
交易成本包括哪些?佣金、印花税、过户费、滑点。佣金现在普遍是万二到万三,印花税卖出时千一,过户费万零点二。这些加起来,一次完整的买卖(买入+卖出)成本大约在0.15%到0.2%之间。看起来不多对吧?但如果你每天交易一次,一年250个交易日,光交易成本就是37.5%到50%。你的策略得有多高的收益才能覆盖这个成本?
滑点更隐蔽。滑点是指你的预期成交价和实际成交价之间的差异。在流动性好的大盘股上,滑点可能只有0.01%;但在小盘股或者流动性差的标的上,滑点可能高达1%甚至更多。如果你的策略专门挑小盘股交易,而回测里没有考虑滑点,那结果就是空中楼阁。
实操建议: 在回测里至少设置0.1%的单边交易成本(买入和卖出各0.1%),对于小盘股策略,设置0.2%到0.3%。滑点可以用固定值模拟,也可以用成交量比例来动态计算。backtrader里可以通过setcommission和slippage参数来设置,但很多人图省事直接跳过这一步。
2.5 流动性幻觉:你的单子根本成交不了
流动性幻觉是交易成本问题的升级版。它的核心是:回测里假设你的订单总能以当前价格成交,但现实中,如果你的订单量相对于市场成交量太大,你的成交价会严重偏离当前价格。
举个例子。某只小盘股每天的成交量是100万股,你的策略信号显示要买入50万股。在回测里,你直接以当前价格买入了50万股,没有任何问题。但在现实中,当你下单买入50万股时,买盘会迅速吃掉卖单,价格会被推高,你的实际成交均价可能比信号价格高出2%到5%。更糟糕的是,如果市场发现有大单在买,可能会引发跟风,进一步推高价格。
怎么判断? 一个简单的规则:单笔交易金额不要超过该标的日均成交额的1%。如果超过了,要么拆分订单,要么在回测里加入冲击成本模型。冲击成本可以用简单的线性模型来估算:冲击成本 = k * (订单量 / 日均成交量),k是一个经验系数,通常在0.1到0.5之间。
2.6 时间周期错配:用日线数据做日内决策
时间周期错配是一种比较隐蔽的虚假回测。它的表现是:用日线数据回测,但策略逻辑实际上是基于日内信息的。
比如,你写了一个策略:“如果当日最高价突破昨日最高价,则买入”。在日线数据上,你看到当日最高价突破了,然后以当日收盘价买入。但问题是,当日最高价可能出现在开盘后5分钟,也可能出现在收盘前5分钟。如果你在最高价出现时就买入,成交价就是那个最高价;如果你等到收盘才买入,成交价是收盘价。这两种情况在回测里可能被混为一谈。
更严重的是,如果你用日线数据来判断“突破”,然后假设以突破价成交,那就是在用一个你根本无法保证的成交价。因为当价格突破时,你并不知道它会突破,只有事后才知道。
怎么解决? 如果你的策略逻辑涉及日内价格,就必须用分钟级或tick级数据来回测。用日线数据回测日内策略,结果没有任何参考价值。
3. 一眼识破虚假回测的五个实操检查点
知道了虚假回测的六种面孔,接下来就是实操层面的问题:拿到一个回测结果,怎么快速判断它是不是假的?我总结了五个检查点,按顺序过一遍,大部分虚假回测都跑不掉。
3.1 检查一:夏普比率是否高得不正常
夏普比率是衡量风险调整后收益的指标,计算公式是(策略收益 - 无风险收益)/ 策略波动率。一般来说,夏普比率在1以上就算不错,2以上算优秀,3以上就非常罕见了。
如果你看到一个策略的夏普比率超过3,尤其是超过4,第一反应应该是怀疑,而不是兴奋。为什么?因为夏普比率高意味着策略收益稳定、波动小。但在真实市场中,收益和风险是相伴相生的。一个策略如果能在很长时间内保持高收益低波动,要么它找到了某种市场无效性(这种情况极其罕见且通常很快消失),要么回测里有问题。
我见过最夸张的一个回测,夏普比率干到8以上。那个策略的逻辑是“每天买入昨天涨幅最大的股票,持有三天”。回测显示几乎每天都在赚钱。但仔细一看,策略用的是当日收盘价买入,而“昨天涨幅最大”这个信息在昨天收盘后就知道了,所以实际上是在用昨天的信息在今天开盘前做决策,然后以今天的收盘价买入。这中间隔了一整天,价格早就变了。修正之后,夏普比率直接掉到0.5以下。
经验法则:夏普比率超过3的策略,先假设它是假的,然后去找证据证明它是真的。找不到证据,就放弃。
3.2 检查二:最大回撤是否小得不合理
最大回撤是策略从峰值到谷底的最大亏损幅度。这个指标和夏普比率一样,也是识别虚假回测的重要线索。
一个正常的股票策略,最大回撤通常在15%到30%之间。如果是杠杆策略,回撤会更大。如果你看到一个策略的最大回撤只有5%甚至更低,同时收益还很高,那几乎可以确定有问题。
为什么?因为市场本身就有波动。沪深300在2015年股灾时回撤超过40%,在2018年熊市时回撤超过30%,在2020年疫情时回撤超过15%。如果你的策略在这些时期的最大回撤只有5%,那只有两种可能:要么你在这些时期空仓了(但你怎么知道要空仓?),要么你的回测数据有问题。
我见过一个策略,回测显示2015年股灾期间最大回撤只有3%。仔细一看,策略在2015年6月之后就没有交易信号了。为什么?因为策略的参数是在2015年之前的数据上优化的,2015年之后的数据对它来说是“未来”,它根本没有生成信号。这就是典型的样本外失效,但被包装成了“低回撤”。
3.3 检查三:交易频率和持仓周期是否合理
交易频率和持仓周期是判断策略真实性的重要线索。一个策略如果每天交易多次,但用的是日线数据,那几乎可以确定有问题。因为日线数据只有四个价格:开盘、最高、最低、收盘。你无法知道日内价格的变动路径,也就无法准确模拟日内交易。
同样,如果一个策略的持仓周期是几天,但回测里假设以收盘价成交,那也需要警惕。因为收盘价只是一个瞬间的价格,你的订单不一定能在那个价格成交。尤其是对于流动性差的标的,收盘价可能只是最后一笔交易的价格,成交量很小。
合理的做法是: 对于日线策略,假设以次日开盘价成交。这样虽然牺牲了一些收益(因为开盘价可能不如收盘价有利),但更接近现实。对于分钟级策略,假设以信号出现后的下一根K线开盘价成交。永远不要假设以当前价格成交,因为当你看到价格时,那个价格已经过去了。
3.4 检查四:收益曲线是否过于平滑
真实的收益曲线是锯齿状的,有涨有跌,有连续盈利的时期,也有连续亏损的时期。如果你的收益曲线看起来像一条直线向上,那大概率有问题。
过于平滑的收益曲线通常意味着两种情况:一是策略在偷看未来,所以每次都能“预测”对;二是策略经过了过度优化,把历史上的噪声都拟合进去了。这两种情况都会导致实盘表现与回测严重不符。
我习惯把收益曲线和基准指数(比如沪深300)的曲线画在一起对比。如果策略曲线在基准下跌时完全不跌,在基准上涨时涨得更多,那就要小心了。市场系统性风险是很难完全规避的,除非你用了对冲工具,但即使用了对冲,也会有基差风险、展期成本等问题。
3.5 检查五:参数是否经过精细优化
参数优化本身不是问题,问题是优化的程度。如果你只优化了一两个参数,每个参数试了五六个值,那还好。但如果你优化了十个参数,每个参数试了一百个值,那就是在拟合噪声。
一个实用的判断标准是:参数的数量和样本的数量之比。如果你的策略有10个参数,但回测样本只有500个交易日,那参数/样本比就是1:50。这个比例太低了,过拟合的风险极高。一般来说,参数/样本比至少要达到1:200才比较安全,也就是说,10个参数至少需要2000个样本。
另一个判断标准是:最优参数是否处于参数空间的边缘。如果你的最优参数是A=100,而参数搜索范围是1到100,那这个最优值很可能只是边界效应,不是真正的优。稳健的策略,最优参数应该处于参数空间的中间区域。
4. 从根源上避免虚假回测:一套可复现的验证流程
识别虚假回测只是第一步,更重要的是在写策略的时候就避免产生虚假回测。我这些年形成了一套自己的验证流程,虽然不能保证100%避免问题,但至少能把大部分坑填上。
4.1 第一步:数据准备阶段的三个必须
数据是回测的基础,数据出了问题,后面全白搭。在数据准备阶段,有三个必须做到的事情。
必须使用前复权数据。 股票会有分红、送股、配股等除权除息操作,如果不复权,价格会出现跳空,导致虚假的信号。前复权是以当前价格为基准,调整历史价格,使得价格曲线连续。backtrader里可以通过bt.feeds.PandasData的adjclose参数来指定复权价格,但很多人直接用了不复权的数据,结果回测里出现了莫名其妙的暴涨暴跌。
必须检查数据缺失和异常值。 停牌、涨跌停、数据源错误都会导致数据缺失或异常。如果某只股票停牌了三个月,你的策略在这三个月里没有数据,但回测框架可能默认用前一天的价格填充,这就会导致虚假的成交。正确的做法是:停牌期间不交易,或者用停牌前的价格标记,但不产生信号。
必须使用历史成分股数据。 前面说过幸存者偏差的问题,解决办法就是使用每个时间点上真实的指数成分股列表。如果拿不到这个数据,至少要在回测报告里明确说明偏差的存在,并对结果打一个折扣。我通常会在回测收益上打七折,作为对幸存者偏差的粗略修正。
4.2 第二步:策略逻辑的样本外校验设计
样本外校验是防止过拟合的核心手段,但很多人做样本外校验的方式是错的。
最常见的错误是简单按时间对半砍。比如你有2010年到2020年的数据,用2010年到2015年做样本内优化,用2015年到2020年做样本外验证。这样做的问题是,2015年到2020年这段时间你可能已经“知道”了(比如你知道2015年有股灾,2018年有熊市),你在优化参数时会不自觉地考虑到这些信息,导致样本外数据也被污染。
更严谨的做法是滚动窗口校验。把数据分成多个时间段,每次用前一段做样本内优化,用后一段做样本外验证,然后滚动前进。比如:
| 窗口 | 样本内 | 样本外 |
|---|---|---|
| 1 | 2010-2012 | 2013 |
| 2 | 2011-2013 | 2014 |
| 3 | 2012-2014 | 2015 |
| ... | ... | ... |
这样做的好处是,每个样本外时间段都是“未来”,你在优化时不可能知道。缺点是计算量大,但现在的算力完全不是问题。
还有一个更严格的方法是嵌套交叉验证。在样本内再分一层训练集和验证集,用于选择模型超参数,然后用整个样本内数据训练最终模型,在样本外测试。这个方法在机器学习里很常见,但在量化里用得不多,主要是因为金融数据的时间序列特性使得交叉验证的假设不成立。不过对于参数优化来说,嵌套交叉验证仍然是一个值得尝试的方法。
4.3 第三步:交易成本与滑点的合理估算
交易成本和滑点的估算没有标准答案,但有一些经验值可以参考。
佣金: 现在券商普遍是万二到万三,最低5元。如果你资金量小,最低5元的影响很大。比如你每次交易1万元,佣金万三就是3元,但最低5元,实际佣金率就是万五。在回测里,我通常设置单边佣金为0.03%,最低5元。
印花税: 卖出时千一,买入时不收。这个在回测里必须设置,很多人会忘记。
过户费: 万零点二,买卖都收。金额很小,但积少成多。
滑点: 这是最难估算的。对于大盘股,滑点可以设为0.01%到0.05%;对于小盘股,设为0.1%到0.3%。如果策略涉及高频交易,滑点的影响会更大。我通常的做法是:先用一个保守的滑点值(比如0.2%)跑一遍回测,如果策略仍然盈利,再逐步降低滑点值,看策略的盈亏平衡点在哪里。
冲击成本: 如果单笔交易金额超过日均成交额的1%,就需要考虑冲击成本。简单的估算公式是:冲击成本 = 0.1 * sqrt(订单量 / 日均成交量)。这个公式来自Almgren-Chriss模型,虽然简化了很多,但对于粗略估算够用了。
4.4 第四步:回测结果的统计显著性检验
回测结果好不好,不能只看收益和夏普比率,还要看统计显著性。一个策略如果只交易了20次,即使收益很高,也可能只是运气好。
t检验是最常用的方法。计算策略每笔交易收益的均值和标准差,然后算t值:t = 均值 / (标准差 / sqrt(交易次数))。如果t值大于2,说明策略收益在95%置信水平下显著不为零。如果t值小于2,那策略收益可能只是随机波动。
但t检验有一个假设:交易收益是独立同分布的。在金融数据里,这个假设往往不成立,因为交易收益存在自相关和异方差。更严谨的做法是用Newey-West调整,但这对新手来说太复杂了。一个折中的方法是:把交易收益按时间分成几组,分别计算每组的均值和t值,看是否一致。如果各组差异很大,说明策略不稳定。
另一个实用的方法是随机化检验。把策略的信号随机打乱,重新跑回测,重复1000次,看真实策略的收益在随机策略收益分布中的位置。如果真实策略的收益在随机策略收益的95%分位数以上,说明策略确实有超额收益。这个方法计算量大,但逻辑简单,不容易出错。
4.5 第五步:实盘前的模拟盘验证
回测做得再好,也只是纸上谈兵。在投入真金白银之前,至少要用模拟盘跑一段时间。
模拟盘的价值在于:它能暴露回测里发现不了的问题,比如订单执行延迟、部分成交、接口稳定性等。我见过很多策略,回测年化50%,模拟盘跑了一个月,发现每天都有订单被拒绝,因为资金不足或者标的停牌。这些问题在回测里根本不会出现。
模拟盘跑多久合适?我的经验是至少三个月。三个月能覆盖一个完整的季度周期,能遇到财报发布、指数调仓、节假日等特殊事件。如果三个月模拟盘的表现和回测差距在20%以内,那可以考虑小资金实盘。如果差距超过50%,那就得回去检查回测了。
5. 常见问题与排查技巧实录
在实际操作中,虚假回测的表现形式千奇百怪,我整理了一些最常见的问题和对应的排查方法,做成速查表方便对照。
5.1 回测收益高但实盘亏损:排查清单
这是最典型的问题,几乎每个量化新手都会遇到。排查的时候按以下顺序来:
| 排查项 | 检查方法 | 常见问题 |
|---|---|---|
| 未来函数 | 逐笔检查信号时间戳 | 用了当日收盘价做决策 |
| 过拟合 | 参数敏感性分析 | 参数微调导致收益剧变 |
| 幸存者偏差 | 检查股票池构成 | 用了当前成分股回测历史 |
| 交易成本 | 检查回测成本设置 | 佣金滑点设为0 |
| 流动性 | 检查单笔交易金额 | 超过日均成交额1% |
| 时间周期 | 检查数据频率 | 日线数据做日内决策 |
排查的时候,我习惯从未来函数开始查,因为这是最常见也最容易犯的错误。检查方法很简单:在策略的每个决策点,打印出当时能获得的所有数据,然后人工判断这些数据在那个时候是否真的能获得。如果发现任何可疑的地方,就重点排查。
5.2 参数优化后收益暴涨:警惕过拟合
参数优化是过拟合的重灾区。很多人优化完参数,看到收益从30%涨到80%,兴奋得不行,直接上实盘,结果亏得一塌糊涂。
怎么判断参数优化是否过度? 我通常用三个指标:
第一,参数平原的宽度。在最优参数附近,收益应该是一个平缓的曲面,而不是一个尖峰。如果最优参数稍微一动,收益就暴跌,那说明这个最优参数只是拟合了噪声。
第二,样本外衰减率。样本内收益和样本外收益的比值,如果超过3:1,说明过拟合严重。比如样本内年化60%,样本外年化20%,比值3:1,勉强可以接受。如果样本内年化100%,样本外年化10%,比值10:1,那就得重新审视策略了。
第三,参数的经济含义。每个参数都应该有合理的经济解释。比如均线周期参数,20日代表一个月,60日代表一个季度,这些都有交易逻辑支撑。如果你的最优参数是37日,那就得问问自己:为什么是37?有什么特殊含义?如果答不上来,那这个参数很可能只是拟合出来的。
5.3 回测曲线完美但交易次数极少:样本量不足
有些策略回测曲线非常漂亮,但仔细一看,三年只交易了十几次。这种策略的问题在于样本量太小,统计上不可靠。
多少交易次数才够? 一般来说,至少需要100次交易才能做基本的统计分析。如果要做更严谨的检验,需要200次以上。如果交易次数少于50次,那回测结果基本没有参考价值,因为随机性太大。
如果策略逻辑本身导致交易次数少(比如趋势跟踪策略),那可以通过以下方法增加样本量:一是延长回测时间,从三年扩展到十年;二是扩展到多个标的,从一只股票扩展到一篮子股票;三是降低信号阈值,增加交易频率(但要小心引入噪声)。
5.4 数据源切换后回测结果大变:数据质量陷阱
不同数据源的数据质量差异很大,有时候切换数据源后,回测结果会天翻地覆。这通常是因为数据源在复权方式、缺失值处理、异常值修正等方面存在差异。
怎么避免? 第一,固定使用一个可靠的数据源,不要频繁切换。第二,在回测报告里记录数据源的版本和获取时间。第三,如果必须切换数据源,先用重叠时间段做对比,确保数据一致性。第四,对关键数据(如收盘价、成交量)做交叉验证,用两个独立数据源对比,发现差异超过1%的就人工核查。
我自己的做法是:用tushare或akshare获取数据,然后用baostock做交叉验证。如果两个数据源的收盘价差异超过0.5%,就标记出来人工检查。虽然麻烦,但能避免很多坑。
5.5 独家避坑技巧:三个我踩过的坑
第一个坑:用shift(-1)导致未来函数。 我刚学pandas的时候,用df['close'].shift(-1)来获取“明天的收盘价”,然后用来做今天的决策。这看起来很明显是未来函数,但当时我根本没意识到。后来才发现,shift(-1)是把下一行的数据移到当前行,也就是把未来的数据拿到了现在。正确的做法是用shift(1)获取昨天的数据。
第二个坑:用dropna()删除了关键数据。 在计算指标时,前19行会因为rolling(20)而产生NaN。我用dropna()把这些行删掉了,结果回测从第20行开始。但问题是,我删掉的是前19行,而不是后19行。如果我的策略需要用到这些NaN行之前的数据,那就出问题了。正确的做法是保留NaN,在策略逻辑里处理,而不是直接删除。
第三个坑:用train_test_split划分时间序列。 这是我做机器学习时养成的习惯,train_test_split默认是随机划分的。但金融时间序列有自相关性,随机划分会导致训练集和测试集之间有信息泄露。比如测试集里的某一天和训练集里的某一天相邻,它们的价格高度相关,模型在训练时已经“见过”类似的数据了。正确的做法是用TimeSeriesSplit,按时间顺序划分。
6. 工具与框架层面的防坑配置
工欲善其事,必先利其器。backtrader、vnpy、zipline这些框架本身没有问题,但默认配置往往不够严谨,需要手动调整。
6.1 backtrader的防坑配置清单
backtrader是我用得最多的回测框架,功能强大但默认设置比较宽松。以下是我常用的防坑配置:
这里有几个关键点。set_coc(False)和set_coo(True)确保成交价是次日开盘价,而不是当前收盘价。set_slippage_perc(0.001)设置了0.1%的滑点。adjclose参数指定了复权价格列,确保价格连续性。
6.2 多股回测时的注意事项
多股回测比单股回测复杂得多,主要问题在于资金分配和信号同步。
资金分配: 如果同时交易多只股票,需要决定每只股票分配多少资金。常见的方法有等权重、市值加权、波动率倒数加权等。等权重最简单,但可能导致小盘股占比过高。我通常用波动率倒数加权,让每只股票对组合波动的贡献大致相等。
信号同步: 多只股票的交易日可能不一致(比如有的停牌),需要对齐时间轴。backtrader里可以用cerebro.adddata(data, name='stock1')添加多个数据,然后在策略里用self.datas访问。但要注意,如果某只股票在某天没有数据,backtrader默认会用前一天的数据填充,这可能导致虚假信号。解决办法是在策略里检查数据是否有效,无效则跳过。
仓位管理: 多股回测时,仓位管理更复杂。如果某只股票信号强烈,是否应该加仓?如果多只股票同时发出信号,但资金不够,如何分配?这些问题在单股回测里不存在,但在多股回测里必须考虑。我通常用固定比例仓位,每只股票最多占总资金的10%,避免单只股票风险过大。
6.3 用Python做样本外校验的代码模板
样本外校验是防止过拟合的关键步骤,以下是我常用的代码模板:
这个模板的核心是TimeSeriesSplit,它按时间顺序划分数据,避免了随机划分导致的信息泄露。每个窗口用前面的数据优化参数,用后面的数据验证,然后滚动前进。最后看所有窗口的样本外收益是否稳定,如果波动很大,说明策略不够稳健。
6.4 数据质量检查的自动化脚本
数据质量检查很繁琐,但可以用脚本自动化。以下是我常用的检查脚本:
这个脚本能自动检查缺失值、价格异常、成交量为零、日期不连续、复权价格异常等问题。每次拿到新数据,先跑一遍这个脚本,能省去很多人工检查的时间。
7. 一个真实案例的完整复盘
说了这么多理论,最后用一个真实案例来收尾。这个案例是我自己踩过的坑,从虚假回测到修正,整个过程很有代表性。
7.1 策略背景与初始回测结果
策略逻辑很简单:双均线+RSI过滤。当5日均线上穿20日均线,且RSI小于70时买入;当5日均线下穿20日均线,或RSI大于80时卖出。标的选的是沪深300成分股,回测时间2018年到2022年。
初始回测结果:年化收益45%,最大回撤12%,夏普比率2.8,交易次数156次。看起来很不错对吧?我当时也觉得找到了圣杯。
7.2 逐步排查发现的问题
第一步,检查未来函数。我把策略信号和价格数据画在一起,逐笔检查。发现一个问题:策略在计算RSI时,用的是当日收盘价,但买入信号是在当日收盘后发出的,然后假设以当日收盘价成交。这就有问题了——收盘后发出信号,怎么可能以收盘价成交?应该以次日开盘价成交。
修正后,年化收益从45%降到32%,最大回撤从12%升到18%。虽然还是不错,但已经没那么惊艳了。
第二步,检查交易成本。初始回测里,佣金和滑点都设为了0。加上万三佣金和0.1%滑点后,年化收益从32%降到24%,最大回撤升到22%。
第三步,检查幸存者偏差。初始回测用的是“当前沪深300成分股”,但2018年的成分股和2022年完全不同。我找到了历史成分股数据,重新回测。年化收益从24%降到18%,最大回撤升到25%。
第四步,检查过拟合。我用滚动窗口校验,发现策略在2018-2019年表现很好,但在2020-2021年表现很差。参数敏感性分析显示,均线周期从20改成22,年化收益从18%降到5%。这说明策略对参数非常敏感,过拟合严重。
7.3 修正后的结果与经验总结
经过四步修正,最终的回测结果是:年化收益12%,最大回撤28%,夏普比率0.6,交易次数156次。这个结果虽然不如初始的45%那么诱人,但它是真实的、可信的。
这个案例给我的教训是:虚假回测的修正过程,就是收益不断缩水的过程。 每修正一个问题,收益就掉一截。但这个过程是必须的,因为只有真实的回测结果,才能指导实盘操作。
我现在做回测,会严格按照以下流程:数据质量检查→未来函数排查→交易成本设置→幸存者偏差修正→样本外校验→参数敏感性分析→模拟盘验证。每一步都不能跳过,每一步都可能让收益缩水,但每一步都让结果更接近真实。
最后分享一个小技巧:把你的回测结果和基准指数对比,如果策略在基准下跌时完全不跌,那大概率有问题。 市场系统性风险是很难完全规避的,除非你用了对冲工具,但即使用了对冲,也会有基差风险、展期成本等问题。一个真实的策略,应该在市场下跌时也会亏钱,只是亏得比市场少。如果市场跌20%,你的策略只跌2%,那要么你空仓了(但你怎么知道要空仓?),要么你的回测有问题。