量化回测避坑指南:未来函数、过拟合与数据陷阱
1. 量化回测的信任危机:为什么你的策略一上实盘就亏钱
做量化最崩溃的时刻,不是代码报错,而是回测曲线漂亮得像艺术品,实盘一跑就稀里哗啦。我见过太多新手拿着年化80%、最大回撤5%的回测报告来找我,眼睛里闪着光,觉得找到了财富密码。结果呢?实盘三个月,本金腰斩。问题出在哪?不是市场变了,是回测本身就是假的。
回测不可信,根源就那么几个:未来函数、过拟合、幸存者偏差、交易成本低估、数据质量缺陷。这几个坑,踩中任何一个,你的回测结果就只是一堆好看的废纸。更可怕的是,很多新手根本不知道自己踩了坑,因为回测框架不会主动告诉你“你用了未来数据”,它只会忠实地按照你写的逻辑跑出一个结果,哪怕这个逻辑在现实中根本无法执行。
这篇文章就是一份避坑清单。我会把量化回测中最常见的坑一个个拆开,告诉你它们为什么致命、怎么检测、怎么修复。不管你是用Python自己写回测,还是用backtrader这类框架,或者跑EA回测,这些坑都绕不开。适合谁看?刚入门量化、写过几个策略、回测结果好得不太真实、准备上实盘或者正在实盘亏钱的人。如果你还没开始写策略,那更好,提前知道这些坑,能省下大量试错成本。
先明确一个核心原则:回测的唯一目的是尽可能真实地模拟策略在历史中的表现,从而对未来的表现做出合理推断。 任何让回测结果偏离真实交易情况的因素,都是坑。下面我按危害程度从高到低,逐个拆解。
2. 未来函数:最隐蔽的杀手
2.1 什么是未来函数,为什么它让回测彻底失效
未来函数,英文叫Look-ahead Bias,指的是在回测的某个时间点,策略使用了当时还不可能知道的信息。听起来很蠢对吧?谁会故意用未来的数据?但实际情况是,未来函数极其隐蔽,经常在你完全无意识的情况下混进代码里。
举个最简单的例子。假设你写了一个策略:如果今天的收盘价高于昨天的收盘价,就买入。这个逻辑没问题。但如果你写成:如果今天的收盘价高于今天的开盘价,就在开盘时买入。这就出问题了——你在开盘时怎么知道今天的收盘价?这就是典型的未来函数。
再举一个更隐蔽的。你用df['close'].shift(-1)来获取“明天的收盘价”,然后基于这个价格做决策。shift(-1)在Pandas里是向未来偏移,很多新手在计算收益率或者做特征工程时不小心用了负向shift,自己都没意识到。
未来函数的危害在于:它让策略在回测中拥有了“预知未来”的能力,而这种能力在实盘中根本不存在。所以回测收益会虚高得离谱,实盘一跑就原形毕露。更麻烦的是,有些未来函数不会让收益变得特别夸张,只是稍微好看一点,这种“温水煮青蛙”式的未来函数最难发现。
2.2 如何系统性地检测未来函数
检测未来函数,不能靠肉眼一行行看代码,得用系统性的方法。我常用的有这么几种:
第一种,数据时间戳审查。 把你策略中用到的所有数据列出来,逐个检查每个数据点在决策时刻是否已经产生。比如你用日线数据,在T日开盘时做决策,那么T日的收盘价、最高价、最低价、成交量这些数据在开盘时都还没产生,不能用。T-1日及之前的数据可以用。这个检查听起来简单,但当你用了十多个因子时,很容易漏掉某个因子的计算依赖了未来数据。
第二种,逐笔回放测试。 把回测模式从“向量化”改成“事件驱动”,让策略一个bar一个bar地跑,每跑一个bar就打印出当前策略能看到的所有数据。然后你人工检查,这些数据在真实交易中是否可得。backtrader这类框架天然就是事件驱动的,用backtrader回测比用pandas向量化回