Trading algorithmique · Statistiques
Significativité statistique d’un backtest : test t, nombre de trades et tests multiples
Un backtest positif peut être le fruit du hasard. Test t sur le résultat moyen, nombre de trades nécessaire, problème des tests multiples, correction de Bonferroni et validation hors échantillon.
Un backtest positif ne prouve pas qu’une stratégie a un avantage réel : il peut être le résultat du hasard, surtout si le nombre de trades est faible, si la dispersion des résultats est forte, ou si la stratégie a été choisie parmi de nombreuses variantes testées. La significativité statistique mesure la probabilité d’obtenir un résultat au moins aussi bon par pure chance, si la stratégie n’avait en réalité aucun avantage. L’outil de base est le test t sur le résultat moyen des trades : t = moyenne / (écart-type / √n). Plus t est élevé, moins le hasard est une explication plausible. Mais ce test ne vaut que pour une seule hypothèse testée : dès que l’on compare des dizaines ou des milliers de variantes, il faut corriger.
Cette page fait partie de la rubrique Statistiques de performance d’une stratégie. Le problème qu’elle traite est la face statistique de la sur-optimisation.
Le test t sur les résultats des trades
On considère les résultats des n trades, exprimés de préférence en multiples du risque initial (R) pour les rendre comparables. On note m leur moyenne (l’espérance estimée) et s leur écart-type d’échantillon.
- Erreur type de la moyenne : s / √n
- Statistique t : t = m / (s / √n) = m × √n / s
L’hypothèse nulle est que l’espérance réelle vaut zéro. Pour un grand nombre de trades, t suit approximativement une loi normale centrée réduite sous cette hypothèse. Un |t| supérieur à environ 1,96 correspond à une probabilité inférieure à 5 % (en test bilatéral) d’observer un tel résultat par hasard ; un |t| supérieur à environ 2,58 correspond à 1 %.
Un exemple chiffré
Une stratégie a réalisé 200 trades, avec un résultat moyen de 0,10 R et un écart-type de 1,2 R.
- Erreur type = 1,2 / √200 ≈ 1,2 / 14,14 ≈ 0,085 R
- t = 0,10 / 0,085 ≈ 1,18
Ce résultat n’est pas significatif au seuil de 5 % : la probabilité bilatérale d’obtenir |t| ≥ 1,18 par hasard est d’environ 24 %. Une stratégie sans aucun avantage produirait un résultat au moins aussi bon (ou aussi mauvais) environ une fois sur quatre.
Combien de trades faut-il ?
En inversant la formule, le nombre de trades nécessaire pour atteindre une valeur de t donnée vaut :
n = (t × s / m)²
Pour la stratégie précédente, atteindre t = 2 demanderait n = (2 × 1,2 / 0,10)² = 24² = 576 trades, à condition que l’espérance réelle soit bien de 0,10 R. Ce calcul montre deux choses :
- plus l’avantage est faible par rapport à la dispersion, plus il faut de trades ; avec m = 0,05 R, il en faudrait quatre fois plus, soit 2 304 ;
- les stratégies à faible fréquence (quelques trades par mois) mettent des années à produire un échantillon significatif.
| Espérance m | Écart-type s | Trades pour t = 2 |
|---|---|---|
| 0,30 R | 1,2 R | 64 |
| 0,20 R | 1,2 R | 144 |
| 0,10 R | 1,2 R | 576 |
| 0,05 R | 1,2 R | 2 304 |
Calcul en Python
import math, statistics as st
def test_t(trades_r):
n = len(trades_r)
m = st.mean(trades_r)
s = st.stdev(trades_r)
t = m / (s / math.sqrt(n))
p = math.erfc(abs(t) / math.sqrt(2)) # p bilatérale, approximation normale
n_requis = (2 * s / m) ** 2 if m > 0 else float("inf")
print(f"n = {n}, moyenne {m:.3f} R, écart-type {s:.2f} R")
print(f"t = {t:.2f}, p ≈ {p:.3f}, trades nécessaires pour t = 2 : {n_requis:.0f}")
# Remplacez par les résultats de vos trades, en R et après coûts
test_t([1.8, -1, -1, 2.5, -1, 0.4, -1, 3.1, -1, -0.6, 1.2, -1, 2.0, -1, -1, 1.5])
Pour de petits échantillons, la loi de Student est plus appropriée que l’approximation normale ; la fonction scipy.stats.ttest_1samp de la bibliothèque SciPy la calcule directement. Dans tous les cas, l’approche suppose des trades indépendants.
Le problème des tests multiples
Le test t répond à la question : « ce résultat pourrait-il être dû au hasard, pour une stratégie fixée à l’avance ? » Mais en pratique, vous avez souvent testé des dizaines de règles, d’indicateurs et de paramètres avant de retenir la meilleure. Si vous testez 100 variantes sans aucun avantage, au seuil de 5 %, vous obtiendrez en moyenne 5 variantes « significatives » par pur hasard. La meilleure des 100 aura presque toujours un t flatteur.
Une optimisation génétique qui évalue des milliers de combinaisons de paramètres est un cas extrême de tests multiples : le t de la meilleure passe n’a pratiquement aucune valeur statistique s’il n’est pas corrigé.
La correction de Bonferroni
La correction la plus simple consiste à diviser le seuil de significativité par le nombre de tests effectués. Pour 100 variantes et un seuil global de 5 %, chaque variante doit atteindre p < 0,05 / 100 = 0,0005, ce qui correspond à un |t| d'environ 3,5. Cette correction est conservatrice, car elle suppose les tests indépendants alors que des variantes proches d'une même stratégie sont fortement corrélées, mais elle donne un ordre de grandeur utile.
Le Sharpe dégonflé
Pour le ratio de Sharpe, Bailey et López de Prado ont proposé le « deflated Sharpe ratio », qui corrige le Sharpe observé en fonction du nombre d’essais, de la longueur de l’historique et de la forme de la distribution des rendements. L’idée est la même : plus vous avez cherché, plus le meilleur résultat trouvé doit être élevé pour être convaincant. Voir aussi la page Ratio de Sharpe.
La validation hors échantillon
La protection la plus robuste contre les faux positifs reste la validation sur des données non utilisées pour concevoir la stratégie :
- réserver une période hors échantillon, sans jamais la consulter pendant la mise au point ;
- évaluer la stratégie retenue une seule fois sur cette période ;
- appliquer le test t aux seuls trades hors échantillon : comme une seule hypothèse est testée, le test retrouve sa validité.
Le walk-forward généralise cette démarche en répétant optimisation et validation sur des fenêtres successives. Une stratégie dont l’espérance reste positive et significative hors échantillon est beaucoup plus crédible que celle qui ne brille que sur la période d’optimisation.
Un test par permutation des signaux
Une alternative au test t consiste à comparer la stratégie à des versions aléatoires d’elle-même : on conserve le nombre de trades et leur durée, mais on tire les dates d’entrée au hasard, des milliers de fois. Si le résultat réel dépasse 95 % des résultats aléatoires, le signal apporte probablement une information. Ce test ne suppose aucune forme de distribution.
Les pièges d’interprétation
- Significatif ne veut pas dire rentable : avec des milliers de trades, une espérance de 0,01 R peut être significative et pourtant inexploitable une fois les coûts réels intégrés.
- Non significatif ne veut pas dire sans avantage : un échantillon trop petit ne permet simplement pas de conclure.
- Les trades ne sont pas toujours indépendants : des positions simultanées sur des marchés corrélés, ou des pertes groupées, réduisent le nombre effectif d’observations indépendantes.
- Le nombre de tests est souvent sous-estimé : chaque idée abandonnée, chaque indicateur essayé compte, y compris ceux qui ne figurent dans aucun rapport.
FAQ
Combien de trades faut-il pour qu’un backtest soit fiable ?
Cela dépend du rapport entre l’espérance et la dispersion des trades. Avec une espérance de 0,2 R et un écart-type de 1,2 R, environ 150 trades suffisent pour un t proche de 2 ; avec 0,05 R, il en faut plus de 2 000. La formule n = (2 × s / m)² donne l’ordre de grandeur.
Une stratégie optimisée peut-elle être significative ?
Le résultat de la période d’optimisation est biaisé par la sélection de la meilleure variante. Seul le résultat sur des données non utilisées pendant l’optimisation peut être testé de façon fiable, ou un résultat corrigé du nombre d’essais.
Le test t est-il valable pour des stratégies à gains rares et importants ?
Le test suppose une distribution pas trop éloignée de la normale pour la moyenne, ce que le grand nombre de trades assure en général. Avec peu de trades et quelques gains exceptionnels, préférez un test par rééchantillonnage, en comparant le résultat à celui de stratégies aléatoires.
