在完成模型的参数和各种特征的优化、通过测试集的检验之后,可以通过改变这些参数或改变模型的定性决策,来观察模型业绩在训练集和测试集上的变化。如果业绩变化很大,在参数取任何其他值时业绩都很糟糕,模型很有可能存在数据迁就偏差。
各种简化模型的方法都值得尝试。决定是否交易真的需要五个不同的条件吗?逐个移除这些条件,模型在训练集上的业绩会在哪个临界点显著降低呢?更重要的是,移除这些条件时,模型在测试集上的业绩会相应降低吗?即使模型在训练集上的业绩可能会降低,只要没有显著降低,就应该尽可能地移除更多的条件、约束和参数。(但不能为了提升测试集上的业绩而增加条件和参数,或调整参数值,如果这样做了,就等于把测试集当成训练集使用了,并且有可能使模型再度产生数据迁就偏差。)
在简化了参数集和条件,并确保样本外测试的业绩在参数和条件微小变化时不受显著影响之后,应考虑将资金分配到不同的参数值和条件集。这种资金在参数上的平均化,将进一步确保模型的真实交易业绩与回测业绩不会相差太大。