Trading algorithmique · Infrastructure
Données historiques de qualité : la condition d’un backtest crédible
Trous, doublons, spreads irréalistes, fuseaux horaires mal alignés : comment évaluer la qualité de vos données historiques avant de leur confier la décision de déployer un robot.
Des données historiques de qualité sont des données complètes, correctement horodatées, sans doublons, avec des prix et des spreads conformes à ce que vous auriez réellement obtenu chez le courtier sur lequel vous comptez trader. Elles sont la condition d’un backtest crédible : toutes les statistiques que vous calculez ensuite, du profit factor au drawdown maximal, héritent de leurs défauts. Une stratégie testée sur des données trouées ou trop optimistes peut sembler excellente pour de mauvaises raisons.
Cette page de la rubrique Infrastructure du trading automatique décrit les défauts à rechercher, les contrôles à automatiser et les choix de granularité qui conditionnent la fidélité d’un test. La méthode de backtest elle-même est traitée dans Backtest d’une stratégie de trading.
Ce que « qualité » veut dire concrètement
On peut résumer la qualité d’un jeu de données en cinq propriétés vérifiables :
- Complétude : aucune période manquante en dehors des fermetures normales du marché (week-ends, jours fériés, pauses de séance).
- Horodatage cohérent : un fuseau horaire connu et constant, avec un traitement explicite des changements d’heure.
- Unicité : pas de barres ou de ticks dupliqués.
- Prix plausibles : pas de pics isolés aberrants, cohérence entre ouverture, plus haut, plus bas et clôture.
- Représentativité : spreads, horaires de cotation et prix proches de ceux de votre courtier d’exécution.
Les quatre premières propriétés relèvent du contrôle technique. La cinquième est la plus souvent négligée et la plus coûteuse : des données parfaitement propres mais issues d’une autre source que votre courtier peuvent produire un backtest très différent du réel.
Les défauts les plus fréquents
Les trous
Une heure manquante en plein milieu d’une séance active peut supprimer un trade perdant ou en créer un fictif lorsque le prix « saute » d’un niveau à l’autre. Les trous sont fréquents dans les historiques anciens et lors des changements de serveur d’un courtier. Ils se détectent en comparant l’écart entre deux horodatages consécutifs à l’écart attendu.
Les doublons et les barres désordonnées
Une fusion maladroite de plusieurs fichiers produit des doublons. Certains outils les ignorent, d’autres les traitent deux fois. Un tri chronologique et une suppression des doublons doivent faire partie de toute préparation.
Les pics aberrants
Un tick erroné à un prix très éloigné du marché peut déclencher un stop ou un take profit fictif. Repérez les variations entre deux points consécutifs très supérieures à la volatilité habituelle, puis vérifiez-les manuellement avant de les supprimer : certaines sont réelles, notamment lors de décisions de banques centrales.
Les spreads irréalistes
Les données en barres contiennent souvent un spread fixe, ou le spread minimal observé sur la barre. Un backtest qui suppose un spread constant de 0,5 point alors que le spread réel s’élargit à 3 points à l’ouverture de la session asiatique surestime toutes les stratégies qui tradent à ce moment. C’est l’un des écarts les plus fréquents entre test et réel.
Les décalages de fuseau horaire
Les serveurs des courtiers ne sont pas tous réglés sur le même fuseau, et beaucoup appliquent un décalage qui suit les changements d’heure d’un autre pays. Une stratégie à filtre horaire testée sur des données d’un autre fuseau n’entre pas aux mêmes moments. De plus, le découpage des barres journalières dépend du fuseau : certains produisent une petite barre du dimanche, d’autres non, ce qui change les calculs d’indicateurs sur D1.
Ticks réels, ticks générés ou barres ?
Le choix de la granularité dépend de la stratégie :
| Granularité | Fidélité | Usage adapté |
|---|---|---|
| Ticks réels avec spread variable | La plus élevée | Scalping, stops serrés, stratégies intrabarre |
| Ticks générés à partir de barres M1 | Bonne si la stratégie n’exploite pas le détail intraminute | Intraday classique |
| Barres M1 | Correcte pour des signaux en clôture de barre | Swing, signaux sur H1 et plus |
| Prix d’ouverture uniquement | Rapide, approximative | Tri initial de paramètres, signaux sur barre close |
Règle simple : si le stop ou l’objectif d’une stratégie est du même ordre de grandeur que l’amplitude d’une barre M1, seuls des ticks réels permettent de savoir lequel est touché en premier. Sur MetaTrader 5, le mode correspondant est décrit dans Tester en ticks réels.
Contrôler un fichier de données : exemple en Python
Le script suivant analyse un fichier CSV de barres (colonnes time, open, high, low, close) et signale les doublons, les trous en semaine, les incohérences OHLC et les variations anormales. Il ne corrige rien : il produit un rapport, car toute correction doit être une décision consciente.
# controle_donnees.py : rapport de qualité sur un fichier de barres
import pandas as pd
FICHIER = "EURUSD_M1.csv" # colonnes : time,open,high,low,close
PAS = pd.Timedelta(minutes=1) # période attendue entre deux barres
SEUIL_TROU = pd.Timedelta(minutes=15)
SEUIL_PIC = 8 # variation > 8 écarts-types = suspecte
df = pd.read_csv(FICHIER, parse_dates=["time"])
df = df.sort_values("time")
# 1. Doublons d'horodatage
doublons = df[df["time"].duplicated(keep=False)]
print("Doublons :", len(doublons))
# 2. Trous (hors week-end : on ignore les écarts qui commencent un vendredi)
ecart = df["time"].diff()
trous = df[(ecart > SEUIL_TROU) & (df["time"].shift().dt.dayofweek < 4)]
print("Trous en semaine :", len(trous))
print(trous[["time"]].assign(ecart=ecart[trous.index]).head(20))
# 3. Cohérence OHLC
incoherent = df[(df["high"] < df[["open", "close"]].max(axis=1)) |
(df["low"] > df[["open", "close"]].min(axis=1))]
print("Barres incohérentes :", len(incoherent))
# 4. Variations anormales d'une clôture à l'autre
variation = df["close"].diff()
z = (variation - variation.mean()) / variation.std()
pics = df[z.abs() > SEUIL_PIC]
print("Variations suspectes :", len(pics))
print(pics[["time", "close"]].head(20))
Les seuils sont des points de départ : adaptez la durée d’un trou significatif à l’instrument (un indice actions a des pauses de séance, le forex non) et examinez chaque anomalie avant de décider.
Construire un jeu de données fiable
- Privilégiez l’historique de votre courtier d’exécution pour le test final, même s’il est plus court. Vous pouvez utiliser une source plus longue pour la recherche, puis valider sur les données du courtier.
- Documentez la provenance : source, date de téléchargement, fuseau horaire, traitements appliqués. Un backtest dont on ne peut pas reconstituer les données n’est pas reproductible.
- Gelez une version des données utilisées pour chaque résultat important, afin de pouvoir comparer les versions de votre robot sur la même base.
- Réservez une période hors échantillon que vous ne regardez pas pendant l’optimisation ; c’est l’un des meilleurs remèdes à la sur-optimisation.
- Vérifiez le nombre de trades obtenu : une stratégie testée sur peu de trades reste fragile, quelle que soit la qualité des données, comme l’explique la page sur la significativité statistique d’un backtest.
Pièges fréquents
- Faire confiance à un indicateur unique de « qualité de modélisation ». Un pourcentage élevé dit que les ticks ont été générés de façon complète, pas que les prix et spreads correspondent à votre courtier.
- Mélanger des sources sans aligner les fuseaux. Le raccord entre deux fichiers produit souvent un trou ou un chevauchement à la date de jonction.
- Supprimer automatiquement tous les pics. Vous effacez alors des mouvements réels, souvent ceux qui auraient causé les plus grosses pertes.
- Ignorer les changements de conditions. Un spread moyen d’il y a cinq ans n’est pas forcément celui d’aujourd’hui ; testez la sensibilité de la stratégie à des coûts plus élevés.
Questions fréquentes
Où trouver des données historiques fiables ?
La source la plus représentative est l’historique de votre propre courtier, téléchargeable depuis la plateforme. Des fournisseurs spécialisés proposent des historiques plus longs, utiles pour la recherche ; dans tous les cas, contrôlez-les avec les vérifications décrites sur cette page avant de les utiliser.
Faut-il toujours tester en ticks réels ?
Non. Les ticks réels sont indispensables quand le stop ou l’objectif est petit par rapport à l’amplitude d’une barre M1, ou quand la stratégie dépend du spread. Pour des signaux calculés sur des barres closes en H1 ou plus, des barres M1 suffisent souvent et accélèrent les tests.
Comment savoir si mes données ont le bon fuseau horaire ?
Repérez un événement daté avec certitude, comme l’ouverture hebdomadaire du marché ou une publication économique majeure, et vérifiez l’heure à laquelle le mouvement apparaît dans vos données. Comparez aussi avec l’heure affichée par le serveur de votre courtier.
Combien d’années de données faut-il ?
Assez pour couvrir plusieurs régimes de marché (tendance, range, forte et faible volatilité) et produire un nombre de trades suffisant. Le nombre de trades compte davantage que le nombre d’années : une stratégie qui ne trade que quelques fois par an demande un historique beaucoup plus long.
