Backtest versus resultados reais: como distinguir um histórico verdadeiro de uma curva sobreajustada

Se você já passou algum tempo olhando produtos de trading na Europa, já viu a mesma imagem: uma curva de patrimônio suave subindo da esquerda para a direita, um grande percentual em negrito, e as palavras "resultados de backtest" em letras cinzas embaixo. Entender a diferença entre backtest e resultados ao vivo é a peça mais útil de due diligence que um leitor de varejo pode fazer, e leva cerca de quinze minutos assim que você sabe o que procurar.

Qual é a diferença entre um backtest e resultados ao vivo?

Um backtest é uma simulação de como um conjunto de regras teria se saído em dados históricos. Resultados ao vivo são um registro de ordens que foram realmente enviadas a um mercado e executadas a preços que alguém realmente recebeu. O primeiro é uma hipótese. O segundo é evidência.

Essa distinção soa óbvia, e é rotineiramente ignorada. Um backtest é produzido pela mesma pessoa que vende o produto, em dados que ela escolheu, com regras que ela era livre para ajustar até a imagem parecer boa. Nada nesse processo é desonesto por si só. Ele só se torna desonesto quando o resultado é apresentado como um registro de desempenho em vez de um artefato de pesquisa.

O enquadramento honesto é desconfortável: um backtest te diz naquilo que uma estratégia não poderia ter falhado. Ele não diz nada sobre o futuro, e muito pouco sobre se a estratégia teria sobrevivido à execução.

Por que os backtests parecem tão melhores do que o trading ao vivo?

Porque um backtest silenciosamente remove quase todo custo e restrição que uma conta ao vivo não consegue escapar. A lacuna geralmente não é causada por fraude. É causada por uma longa lista de pequenas omissões que todas apontam na mesma direção.

Vamos colocar números concretos nisso. Considere uma estratégia que faz backtest a 42% ao ano ao longo de quatro anos, operando 500 giros completos por ano em ouro a 0,10 lotes.

• Comissão a $7 por giro completo por lote: 500 × 0,10 × $7 = $350
• Spread extra de $0,15 por operação além da figura modelada: 500 × $0,15 × $10 = $750
• Slippage de $0,20 nos aproximadamente 200 stop-outs: 200 × $0,20 × $10 = $400

Isso são $1.500 por ano de atrito que o backtest nunca cobrou. Em uma conta de $10.000, um backtest de 42% se torna aproximadamente 27% ao vivo antes mesmo de algo dar errado com a própria estratégia. E essa é a versão otimista, porque assume que as regras não foram ajustadas aos dados desde o início.

Como você pode identificar um backtest com curve fitting?

Procure as marcas de uma estratégia que foi ajustada até bater com a história em vez de testada contra ela. O curve fitting deixa marcas, e são fáceis de ver assim que você as conhece.

O que um histórico ao vivo real precisa mostrar?

No mínimo: verificação por terceiros, um histórico completo de operações em vez de um resumo, uma moeda de conta e alavancagem declaradas, e um período longo o suficiente para incluir pelo menos um trecho ruim. Se qualquer um desses quatro estiver faltando, você ainda não tem um histórico, tem uma alegação.

A verificação importa porque números autorreportados não são refutáveis. Uma plataforma como o Myfxbook se conecta diretamente à conta de trading e publica a curva de patrimônio incluindo toda operação perdedora, motivo pelo qual a presença de verificação e a presença de perdas são ambos bons sinais. A mecânica de ler uma corretamente é abordada em como ler um histórico do Myfxbook.

Você também quer ver os números de risco, não apenas o retorno. Um retorno anual de 60% com uma drawdown máxima de 55% é um produto pior do que um retorno de 20% com uma drawdown de 8%, e a maior parte do marketing é construída para você não perceber isso. Drawdown e índice de Sharpe para leitores europeus explica o porquê, e o que a drawdown realmente mede cobre o número em si.

Aqui está a comparação em uma forma que você pode aplicar diretamente:

A regulação europeia protege você aqui?

Parcialmente, e menos do que a maioria dos leitores assume. As regras da UE e do Reino Unido impõem restrições reais: a alavancagem de varejo no ouro é limitada a 20:1 sob regras derivadas da ESMA, a proteção contra saldo negativo se aplica a contas de varejo, e as empresas devem publicar o percentual de contas de varejo que perdem dinheiro, que tipicamente fica entre 70% e 80%.

O que a regulação não faz é validar as alegações de desempenho de ninguém. Uma corretora regulada é regulada por como lida com o seu dinheiro e executa suas ordens. Ela não está certificando que um provedor de sinais, um vendedor de EA ou um comercializador de estratégia está dizendo a verdade sobre retornos. Frequentemente são entidades diferentes em jurisdições diferentes, e o logo regulado no rodapé da página costuma pertencer à corretora, não à parte que está fazendo a alegação.

O passo prático é verificar quem realmente é regulado e para qual atividade. O framework mais amplo para essa verificação está em due diligence antes de confiar em um provedor de trading.

O que você deve realmente fazer antes de confiar em um número de desempenho?

Trabalhe nessa ordem, e pare na primeira falha.

1. Estabeleça se é ao vivo ou simulado. Se a página não diz claramente, assuma que é simulado.
2. Encontre o link de verificação. Nenhum link independente significa que o número é uma alegação de marketing.
3. Procure pelo pior período, não pelo melhor. Peça a drawdown máxima, a data em que aconteceu, e quanto tempo levou a recuperação.
4. Verifique a amostra. Menos de algumas centenas de operações ou menos de dois anos não é suficiente para distinguir habilidade de sorte.
5. Adicione os custos de volta. Assuma que a figura publicada omite pelo menos comissão e slippage.
6. Pergunte o que acontece quando para de funcionar. Toda estratégia eventualmente para. Um provedor sem uma resposta não pensou sobre isso.

E a conclusão genuinamente pouco lisonjeira, que quase ninguém que vende um produto de trading vai escrever: para a maioria das pessoas, na maior parte do tempo, um fundo de índice diversificado e de baixo custo supera o resultado realista, líquido de custos, de uma estratégia de trading comercializada ativamente. Se alguém está pedindo que você aceite mais risco, mais custo e mais complexidade, o ônus da prova é inteiramente dessa pessoa, e um backtest não o cumpre.

Qual é a visão da TIC?

A TIC publica o desempenho através de registros verificados de forma independente no Myfxbook em vez de backtests, e o registro inclui os meses perdedores, porque uma curva sem eles não é um registro. Esse é o padrão que achamos que os leitores deveriam exigir de todos, incluindo nós, e você pode inspecioná-lo em /results.

O ponto mais amplo é que aprender a avaliar um histórico vale mais do que qualquer histórico único. Assim que você conseguir distinguir uma curva ajustada de uma verificada, o marketing para de funcionar em você, o que vale consideravelmente mais do que o que o marketing estava vendendo.