Backtest ou résultats réels : distinguer un vrai historique d'une courbe surajustée

Si vous avez passé un peu de temps à regarder des produits de trading en Europe, vous avez déjà vu la même image : une courbe d'equity lisse qui grimpe de gauche à droite, un gros pourcentage en gras, et les mots « résultats backtestés » en petits caractères gris en dessous. Comprendre l'écart entre backtest et résultats réels est le geste de due diligence le plus utile qu'un lecteur particulier puisse faire, et cela prend environ quinze minutes une fois que vous savez où regarder.

Quelle est la différence entre un backtest et des résultats réels ?

Un backtest est une simulation de la façon dont un ensemble de règles se serait comporté sur des données historiques. Les résultats réels sont un enregistrement d'ordres réellement envoyés sur un marché et exécutés à des prix que quelqu'un a réellement obtenus. Le premier est une hypothèse. Le second est une preuve.

Cette distinction paraît évidente, et elle est systématiquement ignorée. Un backtest est produit par la même personne qui vend le produit, sur des données qu'elle a choisies, avec des règles qu'elle était libre d'ajuster jusqu'à ce que le tableau ait bonne allure. Rien dans ce processus n'est malhonnête en soi. Il ne le devient que lorsque le résultat est présenté comme un historique de performance plutôt que comme un artefact de recherche.

Le cadrage honnête est inconfortable : un backtest vous dit ce sur quoi une stratégie n'a pas pu échouer. Il ne dit rien de l'avenir, et très peu de choses sur la question de savoir si la stratégie aurait survécu à l'exécution.

Pourquoi les backtests paraissent-ils tellement meilleurs que le trading réel ?

Parce qu'un backtest supprime silencieusement presque tous les coûts et contraintes auxquels un compte réel ne peut échapper. L'écart n'est généralement pas causé par une fraude. Il est causé par une longue liste de petites omissions qui pointent toutes dans la même direction.

Mettons des chiffres concrets là-dessus. Prenez une stratégie backtestée à 42 % par an sur quatre ans, tradant 500 allers-retours par an sur l'or à 0,10 lot.

• Commission à 7 $ par aller-retour par lot : 500 × 0,10 × 7 $ = 350 $
• Spread supplémentaire de 0,15 $ par trade au-delà du chiffre modélisé : 500 × 0,15 $ × 10 $ = 750 $
• Slippage de 0,20 $ sur les quelque 200 stop-outs : 200 × 0,20 $ × 10 $ = 400 $

Cela fait 1 500 $ par an de friction que le backtest n'a jamais facturée. Sur un compte de 10 000 $, un backtest à 42 % devient environ 27 % en réel, avant même qu'un seul problème n'affecte la stratégie elle-même. Et c'est la version optimiste, car elle suppose que les règles n'ont pas été ajustées aux données dès le départ.

Comment repérer un backtest surajusté ?

Cherchez les empreintes d'une stratégie qui a été réglée jusqu'à correspondre à l'historique plutôt que testée contre lui. Le surajustement laisse des traces, faciles à voir une fois qu'on les connaît.

Que doit montrer un véritable historique réel ?

Au minimum : une vérification par un tiers, un historique complet des trades plutôt qu'un résumé, une devise de compte et un levier indiqués, et une période assez longue pour inclure au moins un mauvais passage. Si l'un de ces quatre éléments manque, vous n'avez pas encore un historique, vous avez une affirmation.

La vérification compte parce que des chiffres autodéclarés sont infalsifiables. Une plateforme comme Myfxbook se connecte directement au compte de trading et publie la courbe d'equity, y compris chaque trade perdant, ce qui explique pourquoi la présence d'une vérification et la présence de pertes sont toutes deux de bons signes. La mécanique pour bien lire l'une de ces pages est couverte dans comment lire un historique Myfxbook.

Vous voulez aussi voir les chiffres de risque, pas seulement le rendement. Un rendement annuel de 60 % avec un drawdown maximal de 55 % est un produit pire qu'un rendement de 20 % avec un drawdown de 8 %, et la plupart du marketing est conçu pour que vous ne le remarquiez pas. Drawdown et ratio de Sharpe pour les lecteurs européens explique pourquoi, et ce que le drawdown mesure vraiment couvre le chiffre lui-même.

Voici la comparaison sous une forme directement applicable :

La réglementation européenne vous protège-t-elle ici ?

Partiellement, et moins que ne le supposent la plupart des lecteurs. Les règles de l'UE et du Royaume-Uni imposent de réelles contraintes : le levier de détail sur l'or est plafonné à 20:1 selon les règles dérivées de l'ESMA, la protection contre le solde négatif s'applique aux comptes particuliers, et les entreprises doivent publier le pourcentage de comptes particuliers qui perdent de l'argent, généralement situé entre 70 % et 80 %.

Ce que la réglementation ne fait pas, c'est valider les affirmations de performance de qui que ce soit. Un broker régulé l'est pour la façon dont il gère votre argent et exécute vos ordres. Il ne certifie pas qu'un fournisseur de signaux, un vendeur d'EA ou un promoteur de stratégie dit la vérité sur les rendements. Ce sont fréquemment des entités différentes dans des juridictions différentes, et le logo « régulé » en bas de page appartient souvent au broker plutôt qu'à la partie qui formule l'affirmation.

La démarche pratique consiste à vérifier qui est réellement régulé, et pour quelle activité. Le cadre plus large de cette vérification se trouve dans due diligence avant de faire confiance à un fournisseur de trading.

Que devriez-vous réellement faire avant de faire confiance à un chiffre de performance ?

Procédez dans cet ordre, et arrêtez-vous au premier échec.

1. Établissez s'il s'agit de résultats réels ou simulés. Si la page ne le dit pas clairement, supposez qu'ils sont simulés.
2. Trouvez le lien de vérification. L'absence de lien indépendant signifie que le chiffre est une affirmation marketing.
3. Cherchez la pire période, pas la meilleure. Demandez le drawdown maximal, la date à laquelle il s'est produit, et le temps de récupération.
4. Vérifiez l'échantillon. Moins d'une couple de centaines de trades ou moins de deux ans ne suffit pas à distinguer le talent de la chance.
5. Réintégrez les coûts. Supposez que le chiffre publié omet au moins la commission et le slippage.
6. Demandez ce qui se passe quand cela cesse de fonctionner. Toute stratégie finit par cesser de fonctionner. Un fournisseur sans réponse n'y a pas réfléchi.

Et la conclusion authentiquement peu flatteuse, que presque personne vendant un produit de trading n'écrira : pour la plupart des gens, la plupart du temps, un fonds indiciel diversifié à faible coût bat le résultat réaliste, net de coûts, d'une stratégie de trading commercialisée activement. Si quelqu'un vous demande d'accepter plus de risque, plus de coût et plus de complexité, la charge de la preuve lui incombe entièrement, et un backtest ne s'en acquitte pas.

Quelle est l'approche de TIC ?

TIC publie sa performance à travers des historiques Myfxbook vérifiés de manière indépendante plutôt que des backtests, et l'historique inclut les mois perdants, parce qu'une courbe sans eux n'est pas un historique. C'est la norme à laquelle nous pensons que les lecteurs devraient tenir tout le monde, nous y compris, et vous pouvez l'inspecter sur /results.

Le point plus large est qu'apprendre à évaluer un historique a plus de valeur qu'aucun historique isolé. Une fois que vous savez distinguer une courbe surajustée d'une courbe vérifiée, le marketing cesse d'avoir prise sur vous, ce qui vaut considérablement plus que ce que ce marketing tentait de vendre.