手册目录Q1 · 统计与量化检验:怎样知道一套规则真的有效已读 0/5

神盾复盘:不荐股 · 不代客理财 · 非配资平台 —— 只帮你复盘自己的交易漏洞

重要提示:所有多空方向、价位与买卖标记仅限模拟训练演练,不构成任何投资建议,请勿据此进行真实交易。

绝大多数“有效策略”是运气和过拟合。本模块教你用统计学的标准审查任何规则,包括你自己的。

4.1 期望值、胜率与盈亏比

学习目标

  • · 会算扣双边成本后的每笔期望值(金额与 R 两种口径)
  • · 理解胜率与盈亏比的此消彼长和盈亏平衡线
  • · 用 R 倍数统一衡量跨标的、跨仓位的交易质量

胜率不重要,期望值才重要

期望值 = 胜率×平均盈利 − 败率×平均亏损 − 每笔成本。胜率 30%、盈亏比 3:1 的系统 E≈+0.2R;胜率 80%、盈亏比 1:5 的系统,一次 −1R 就抹平八次小赚。只看胜率是散户最常见的认知误区——引擎的「胜率合理性」门甚至反向设卡:样本外胜率 >90% 且满 10 笔直接 FAIL,因为这在真实扣费世界里几乎只能来自偷看未来或过拟合。

R 倍数:把不同标的拉到同一把尺上

Van Tharp(《Trade Your Way to Financial Freedom》,1998)把每笔盈亏除以入场时定的计划风险 |入场价−止损价|×数量,得到 R 倍数。−1R 是按计划止损;−3R 是跳空击穿或盘中挪了止损。交割单页把每个回合换算成 R 后,茅台的一手和比特币的 0.1 枚可以放进同一个分布里比较。

期望值必须扣双边成本

引擎按市场单边成本表扣费:A股 15bps、港股 25bps、美股 5bps、加密 12bps、期货 4bps、外汇 3bps(单边,佣金+印花税+滑点的保守估计),一个完整回合扣双边 2×costBps。毛利期望 0.40R、双边成本摊 0.10R/笔的系统,净期望只有 0.30R——上线门槛里「扣成本后每笔期望 >0」用的就是这个口径。

盈亏因子:第二把筛子

盈亏因子 PF = 总盈利 ÷ 总亏损。期望为正但 PF=1.05 的系统,利润靠几笔运气单撑着;引擎要求 PF ≥1.2 才放行。期望值看平均,盈亏因子看结构,两个口径互补。

看实物

执行舱 → 策略健康(失效监控)→ 上线门槛九道门中找三行:「扣成本后每笔期望」(>0,备注已扣双边 N bps)、「盈亏因子」(≥1.2)、「样本外交易笔数」(≥30)。样本不足时数值显示“—”,不编数。

核心公式

期望值(净):E = 胜率 × 平均盈利R − 败率 × 平均亏损R − 成本R成本折算成 R;引擎按单边 costBps×2 扣
盈亏平衡胜率:胜率* = 1 ÷ (1 + 盈亏比)盈亏比 3 时只需胜率 >25%;盈亏比 0.5 时要 >66.7%
盈亏因子:PF = Σ盈利单 ÷ |Σ亏损单|引擎上线门槛 ≥1.2;分母为零时如实显示 ∞
R 倍数:R_i = 实际盈亏_i ÷ (|入场价 − 止损价| × 数量)Van Tharp (1998);−1R = 按计划止损

计算案例 · 两套系统,同一笔 100 万的对比账

  1. A(趋势型):200 笔样本,胜率 40%,平均 +2.5R / −1R,双边成本摊 0.05R/笔
  2. E_A = 0.40×2.5 − 0.60×1 − 0.05 = 1.00 − 0.60 − 0.05 = +0.35R/笔;PF = 1.0÷0.6 ≈ 1.67
  3. B(剥头皮型):胜率 75%,平均 +0.5R / −2R,成本同样 0.05R/笔
  4. E_B = 0.75×0.5 − 0.25×2 − 0.05 = 0.375 − 0.50 − 0.05 = −0.175R/笔;PF = 0.375÷0.5 = 0.75
  5. 一年各做 200 笔:A 约 +70R,B 约 −35R。B 胜率高近一倍,实际在给市场交租——它会在期望门和 PF 门同时被拦下

常见错误

  • ✕ 为提高胜率提前止盈、把止损挪远——胜率好看了,盈亏比和期望一起塌掉(处置效应的温床,见 7.1)
  • ✕ 只扣佣金不扣滑点和印花税就宣布正期望:A股双边 30bps,剥头皮策略足以被它吃光
  • ✕ 用十几笔样本算期望下结论——引擎要求样本外净交易 ≥30 笔,笔数不够时「运气还是本事」分不开
  • ✕ 把 −2R、−3R 的纪律性大亏从样本里剔掉再算期望——那是修图,不是统计

实操练习:打开执行舱「策略健康(失效监控)」面板的上线门槛九道门,逐行读「扣成本后每笔期望」「盈亏因子」「样本外交易笔数」的实测值与阈值;再到交割单页载入示例交割单,把最近 5 个回合手工换算成 R 倍数,和系统统计对照。

理解核对 · 不计为能力认证

1. 盈亏比 3:1 时,盈亏平衡胜率约为?

2. 一笔交易亏损了计划风险的 2.5 倍,记为?

4.2 过拟合、样本外与前向检验

学习目标

  • · 识别过拟合的指纹:参数敏感、样本外衰减、交易笔数稀薄
  • · 理解样本内/样本外与滚动前推(WFO)的工作方式与判定阈值
  • · 理解多重检验偏差:试得越多,证据门槛越高

过拟合是什么

参数调得越细,回测越漂亮,未来越可能失效——你拟合的是历史噪声的偶然结构,不是规律。三大指纹:参数稍改结果剧变、样本外相对样本内夏普大幅衰减、总交易笔数太少。Harvey–Liu(2015)测算,把多重检验校正后,宣称新因子的显著门槛要从 t>2 提到 t>3 以上——市面大多数“新发现”过不了这道筛。

样本外检验与 WFO

铁律:优化用的数据和评估用的数据必须分离。引擎的自适应海龟用滚动前推:每个折点只在左侧训练窗里选冠军 lookback,然后立刻在右侧未见数据上结算,各折首尾相接拼出整条样本外净值线。上线门槛第一道就是「≥4 折且样本外夏普 >0」——折数不够或 OOS 为负,状态直接 NOT_LIVE,连降档资格都没有。

多重检验偏差

试 N 个变体取最大,期望天然虚高(4.4 课的 DSR 专门惩罚这件事)。White(2000)的 Reality Check 与 Bailey–López de Prado(2014)的 DSR 是同一思路:先数你试了几次,再谈发现。引擎如实执行——gate.trials 把每个回看窗 × 每个投票变体的夏普全部计入分母,一个不藏。

数据偏差三连

幸存者偏差(只用现存股票回测,退市输家消失)、前视偏差(用了当时拿不到的数据)、复权/拼接偏差,都让回测虚高。引擎的「数据体检」面板把日线数量、缺失交易日、零成交日、数据延迟、距最新 K 线的小时数全部摊开——先体检数据,再谈模型结论。

衰减度:最直接的过拟合指标

degradation = 1 − OOS夏普/IS夏普。参数在训练窗被挑成冠军天然带乐观偏差,所以衰减 >0 是常态;门槛设在 ≤50%。衰减 80% 意味着 IS 夏普 2.0 的“神器”在 OOS 只剩 0.4——不是策略失效了,是它从来没成立过。

核心公式

假阳性期望数:E[N_spu] = N_trials × αα 为显著性水平;300 个变体在 α=5% 下期望约 15 个纯运气“显著”结果(White 2000)
样本外衰减度:degradation = 1 − Sharpe_OOS ÷ Sharpe_IS引擎门槛 ≤50%;超过即判定参数是拟合出来的

计算案例 · 参数网格如何把噪声包装成信号

  1. 对同一突破规则跑 20 个 lookback × 15 个止损倍数 = 300 个变体
  2. 按 α=5% 显著性,纯运气也期望 300×0.05 = 15 个“显著有效”
  3. 冠军变体:样本内夏普 2.1(45 笔),样本外夏普 0.42(18 笔)
  4. 衰减 = 1 − 0.42÷2.1 = 80% > 50% → decay 门 FAIL;OOS 仅 18 笔 < 30 → trades 门 FAIL
  5. 结论:没有 WFO 与笔数门槛的漂亮回测,本质是挑出来的运气

常见错误

  • ✕ 只展示冠军参数组合,不披露总共试了多少次(trial 分母被偷藏)
  • ✕ 样本外不过就回去调参数再测——这一下就把 OOS 污染回 IS,之后所有结论作废
  • ✕ 用 <30 笔的回测“证明”有效:笔数稀薄时夏普的抽样误差比信号本身还大
  • ✕ 在未含退市股、未处理复权的 universe 上回测,把幸存者偏差当阿尔法

实操练习:打开执行舱「策略健康(失效监控)」面板的上线门槛九道门:逐行核对 wfo(≥4 折且 OOS 夏普>0)、trades(≥30 笔)、decay(≤50%)三行的实测值;再到「数据体检」面板看缺失交易日与零成交日,理解为什么评估策略之前先体检数据。

理解核对 · 不计为能力认证

1. 以下哪项最可能是过拟合的信号?

2. 只用当前仍上市的股票做回测,会产生?

4.3 回撤、连亏与蒙特卡洛模拟

学习目标

  • · 理解最大回撤、回撤时长与“回本所需涨幅”的非对称性
  • · 会算连亏 n 笔的概率,理解为什么长连亏是必然事件
  • · 理解蒙特卡洛重排与路径抽样各自量的是什么风险

回撤的非对称账

跌 20% 要涨 25% 才回本,跌 50% 要涨 100%,跌 70% 要涨 233%。回撤越深恢复函数越陡——所以引擎把「样本外最大回撤 ≥ −20%」设成上线硬门槛,而不是“深一点也没关系”。

连亏是必然事件,不是黑天鹅

胜率 40% 的系统,连亏 10 笔的单段概率是 0.6^10 ≈ 0.6%;做 2,000 笔交易,这样的起点区间有上千个——几乎必然撞上。引擎的失效监控直接盯它:连亏 ≥3 笔自动降级(单笔风险 0.5%→0.25%),≥5 笔或回撤破 −15% 直接停手(risk=0)。

蒙特卡洛重排:同一副牌换个顺序

引擎把样本外净交易序列洗牌重排 1,000 次,取 5% 最差分位的最大回撤(gate 的 shuffle 项,门槛 ≥ −25%)。同样的胜率和盈亏比,亏损恰好集中在开头的世界线里,你可能在系统“正确”的情况下先爆仓。

路径抽样:往前走而不是回头洗

执行舱「蒙特卡洛压力测试」面板用的是另一种抽样:从样本外日收益按 5 日分块有放回抽样,生成数千条未来 H 天的净值扇面,给出 5/25/50/75/95 五条分位带、亏损概率与 95% VaR。分块抽样保留了日收益的波动聚集——这比逐日独立抽样诚实。

爆炸半径:用你自己的交易回放

研究室(/lab)的账户爆炸半径反过来用你自己的回合:满 20 个回合后,把历史回合收益率有放回重放 2,000 次 × 200 笔(每笔按两成仓位),报“本金缩水一半概率”与“触及时中位笔数”。它不预测市场,只把你现在的打法快进 200 笔看死活。

核心公式

连亏 n 笔概率(单段):P = (1 − 胜率)^n交易笔数越大,遇到它的概率越接近 1——仓位要按连亏序列设计
回撤回本所需涨幅:回本涨幅 = 1 ÷ (1 − 回撤) − 1−30% 需 +42.9%,−50% 需 +100%:亏损与回本严重不对称
洗牌最差回撤(引擎口径):shuffleDD = 1,000 次随机重排中 5% 最差分位的最大回撤上线门槛 ≥ −25%;净交易 <10 笔时如实为 null

计算案例 · 同一组交易,换个顺序就爆仓

  1. 某策略样本外 100 笔净交易:胜率 42%,均值 +0.31R,实际最大回撤 −14%
  2. 引擎 1,000 次洗牌重排:回撤中位数 −19%,5% 最差分位 −28%
  3. shuffle 门:−28% < −25% → FAIL。不是策略烂,是“顺序运气差一点就击穿心理线”
  4. 爆炸半径复算:每笔按 20% 仓位重放 2,000×200 笔,本金腰斩概率 11%,中位腰斩在第 88 笔
  5. 降仓位验证:每笔仓位降到 10% 重放,腰斩概率掉到 <1%——同样期望,仓位减半把左尾剪掉了

常见错误

  • ✕ 把回测最大回撤当未来上限:实盘回撤常见回测值的 1.5 倍以上(滑点、跳空、纪律失守都不在历史里)
  • ✕ 仓位按平均情景设计:均值活得下去,连亏 8 笔的世界线活不下去
  • ✕ 样本不足 10 笔就谈回撤分布——引擎此时 shuffleDD 直接给 null,你的结论也该打 null
  • ✕ 只看回撤深度不看回撤时长:水下泡两年比 −30% 更容易摧毁执行力

实操练习:执行舱找到「蒙特卡洛压力测试」面板:记录路径数、天数、亏损概率与 95% VaR,把扇面中位线和实际样本外净值对照;再到「策略健康」面板读 shuffle 行(95% 最差回撤 ≥ −25% 才算过);最后去研究室跑账户爆炸半径,记下腰斩概率与中位笔数。

理解核对 · 不计为能力认证

1. 胜率 50%,单次连续亏 5 笔的概率约为?

2. 蒙特卡洛重排主要用来评估?

4.4 试错次数、DSR 与预注册:策略是运气还是真本事

学习目标

  • · 理解为什么必须数清试错了多少次
  • · 会用 DSR(平减夏普)理解多重检验惩罚
  • · 理解预注册为什么防自欺

试 N 次,运气也会出“神器”

试 20 个参数变体,最好的那个夏普必然虚高——因为你是从 20 个结果里挑的最大值。Bailey–López de Prado 给出期望最大夏普基准 SR₀ ≈ σ_trials × [(1−γ)·Φ⁻¹(1−1/N) + γ·Φ⁻¹(1−1/(Ne))],γ 是欧拉常数。N 越大,运气解释得越多,证据门槛就要越高。

DSR 怎么判

Deflated Sharpe Ratio 把观察到的夏普减去“纯运气应得的最大夏普”SR₀,再按样本长度与偏度峰度折算成 0~1 的概率。DSR>0.95 才敢说不是运气。神盾引擎把每个回看窗口 × 每个投票变体的夏普全部喂给 DSR——gate.trials 显示的就是真实试错数,一个都不藏。

预注册防“改到通过”

先写死规则再评估 = 预注册;评估不过再改参数重测 = 把样本外又吃回样本内。神盾的策略参数是服务端固定常量,学员动不了——试错只发生在引擎内部固定窗口上,并且全部计入分母。这是比“改到通过为止”诚实得多的设计。

看实物

执行舱 → 策略健康面板第一行:「N 次试错全部计入 · DSR x.xx · 参数服务端预注册固定」。DSR 为 null 时如实显示“样本不足”,不编数。

核心公式

平减夏普基准(近似):SR₀ = √Var(SR_trials) × [(1−γ)Φ⁻¹(1−1/N) + γΦ⁻¹(1−1/Ne)]Bailey & López de Prado (2014);γ≈0.5772

计算案例 · 试 20 个变体,最好的夏普是运气吗

  1. 20 个变体的夏普标准差 σ=0.5
  2. SR₀ ≈ 0.5 × [(0.423×Φ⁻¹(1−1/20)) + (0.577×Φ⁻¹(1−1/(20e)))] = 0.5 × [(0.423×1.645) + (0.577×2.088)] ≈ 0.5×1.90 ≈ 0.95
  3. 冠军夏普 1.20 → 超出运气基准仅约 0.25,还要再除 √(T−1) 折算
  4. 结论:单看 1.20 很亮眼,扣掉试错后边际证据很薄——这就是为什么门槛要 DSR>0.95

常见错误

  • ✕ 只报告最好的那次回测,不报一共试了多少次
  • ✕ 样本外没过关就回去调参数再测一遍(样本外被污染)
  • ✕ 把 DSR 当收益预测——它是反运气检验,不是盈利承诺

实操练习:打开任意标的的执行舱,找到策略健康面板的「N 次试错 · DSR」行,记录 N 与 DSR;再到策略投票卡看 statusReason,找一条“样本外不足”的如实拒绝。

理解核对 · 不计为能力认证

1. 试了 50 个策略参数,最好的夏普 1.5。最诚实的结论是?

2. “预注册”防的是哪种自欺?

专题研究与实训:从许多规则里挑出最赚钱的一条,如何证明不是挑中了运气?

学习目标

  • · 把观点变成可证伪的问题
  • · 从原始资料到可复算结果
  • · 区分阅读、答题与真实能力证据

研究问题与机制

试验次数越多,偶然优胜者越容易出现。选择参数、市场、日期、费用模型和筛选条件都属于试验。训练集表现同时包含真实效应、噪声和选择偏差,不能只给最后那条规则的普通显著性。

可复现方法与数据口径

登记全部候选与失败试验,按时间先划训练、验证和最终留出区间。重叠持有期边界做剔除与隔离,使用时间块抽样保留自相关;对候选族进行现实检验或 SPA,并报告 PBO、成本敏感性与容量。最终留出只能用于最终报告,反复查看后它就变成开发数据。

竞争解释与失败反例

随机分割相邻重叠交易会把同一轮行情同时放进训练和测试。只报告最赚钱参数,忽略试过的其他参数,会严重低估偶然性;零交易或极少交易的高夏普也不证明优势。

适用边界与缺失证据

拒绝原假设也不是保证未来盈利;结构变化、容量和执行误差仍可能使规则失效。样本不足返回不可判定,不把缺数据写成达标。

训练交付与验收

提交研究登记表、全部候选成绩、时间切分图、重叠排除口径、成本后样本外结果与停止研究的条件。

常见错误

  • ✕ 把论文中的现象当成自己的策略已经有效
  • ✕ 只报告赢家或最后一个参数
  • ✕ 把阅读完成、答题正确当成交易能力达标

实操练习:提交研究登记表、全部候选成绩、时间切分图、重叠排除口径、成本后样本外结果与停止研究的条件。

理解核对 · 不计为能力认证

1. 选择最优参数后,还能把同一段历史叫最终留出吗?

2. 重叠持有期为什么需隔离?

3. 研究日志应保留哪些候选?

实战执行规程

参数是训练默认值,不是普适最优;交易制度以当时官方规则为准。

开仓前清单

  • ☐ 先写研究登记:要测的规则、参数范围、数据区间
  • ☐ 按时间切分:前 60% 开发、中 20% 验证、最后 20% 留出
  • ☐ 所有结果扣除真实费率与滑点

关键参数

项目默认值理由
最少交易笔数≥ 30 笔(留出段)少于 30 笔胜率置信区间过宽
参数稳健相邻参数表现不能断崖只有一个参数好用多半是过拟合
样本外衰减留出段期望 ≥ 开发段 50%衰减过大说明开发段挑中了运气

执行步骤

  1. 开发段调参,记录所有尝试过的组合
  2. 验证段选定一组,不再修改
  3. 留出段只跑一次,结果不好就放弃
  4. 上线后用模拟盘跑 ≥ 30 笔再评估

算例 · 期望值计算

  1. 胜率 40%,平均盈利 2.2R,平均亏损 1.0R
  2. 期望 = 0.40 × 2.2 − 0.60 × 1.0 = +0.28R/笔
  3. 扣除成本 0.05R/笔 → 净期望 +0.23R
  4. 若试了 50 组参数才找到这组,需做多重检验校正后再看是否仍为正

撤退规则

  • · 上线后连续 30 笔净期望 < 0:停用
  • · 最大连亏次数超过回测最大值的 1.5 倍:暂停复查
  • · 市场制度变化(费率、涨跌幅):重新验证

能力验证(程序按您的账本计分)

达标标准:完成 ≥30 次历史推演,亏损单平均不超过 −1.2R

登录后显示您的实际进度。

去 K线盲测 做历史推演 →

达标只说明您在模拟环境中按规程执行过,不代表实盘盈利能力或任何职业资格。

真实历史案例

每次从真实历史日线里按客观条件抽一个当时的行情,只给你看到那天为止的K线;你先定方向和止损,再用之后 10 根真实K线结算,结果记入你的账本。品种和日期结算后才揭晓。

综合实训 · 从许多规则里挑出最赚钱的一条,如何证明不是挑中了运气?

提交研究登记表、全部候选成绩、时间切分图、重叠排除口径、成本后样本外结果与停止研究的条件。

给出研究问题、可观测定义;区分事实、推断与未知,不用盈利结果倒推理由。

附原始来源、获取及发布时点、计算过程;别人应能按相同口径复算。

画出假设链,给出至少一个反方向案例;列出哪条证据会推翻解释。

写明交易规则、费用、成交障碍、仓位和初始风险;无法执行要留痕。

冻结规则版本,用未参与开发的数据检验,报告失败、置信范围与数据不足。

本次练习记录:未核验 · 未保存到云端

原始文献与制度来源

文献说明机制与研究方法,不代表本平台策略已被这些文献验证;交易制度须核对当时有效版本。

下一模块:R1 风险管理与仓位:职业交易员的核心技能 →