バックテストとライブ結果: カーブフィッティングされたものと実際のトラックレコードを見分ける方法

ヨーロッパでトレーディング商品を見てきたことがあるなら、同じ画像を目にしたことがあるでしょう。左から右へと滑らかに上昇するエクイティカーブ、太字で示された大きなパーセンテージ、そしてその下にグレーの文字で書かれた「バックテスト結果」という言葉です。バックテストとライブ結果の間のギャップを理解することは、個人の読者ができる中で最も有用な一つのデューデリジェンスであり、何を見るべきかさえ分かれば15分ほどで行えます。

バックテストとライブ結果の違いは何か？

バックテストとは、一連のルールが過去のデータに対してどのように機能したかをシミュレーションしたものです。ライブ結果とは、実際に市場に送信され、誰かが実際に受け取った価格で約定した注文の記録です。前者は仮説です。後者は証拠です。

この区別は明白に聞こえますが、常習的に無視されています。バックテストは、その商品を販売している当人自身によって、自らが選んだデータの上で、そして良い結果に見えるまで自由に調整できたルールを使って作られます。そのプロセス自体には何ら不正直な点はありません。それが不正直になるのは、その出力がリサーチの成果物としてではなく、パフォーマンス記録として提示されたときだけです。

正直な捉え方は居心地の悪いものです。バックテストが教えてくれるのは、その戦略が失敗しなかったであろうことだけです。 それは未来について何も語らず、その戦略が実際の執行を生き延びられたかどうかについても、ほとんど何も語りません。

なぜバックテストはライブトレーディングよりもはるかに良く見えるのか？

なぜなら、バックテストは、ライブ口座が逃れることのできないほぼすべてのコストと制約を静かに取り除いているからです。このギャップは通常、不正によって生じるものではありません。すべて同じ方向を指す、小さな見落としの長いリストによって生じるものです。

これに具体的な数字を当てはめてみましょう。4年間にわたって年率42%をバックテストで記録し、年間500往復のゴールド取引を0.10ロットで行う戦略を想定します。

• 1ロットあたり往復7ドルの手数料：500 × 0.10 × 7ドル = 350ドル
• モデル化された数字を超える1トレードあたり0.15ドルの追加スプレッド：500 × 0.15ドル × 10ドル = 750ドル
• 約200回のストップアウトにおける0.20ドルのスリッページ：200 × 0.20ドル × 10ドル = 400ドル

これは、バックテストが一度も計上しなかった年間1,500ドルの摩擦コストです。10,000ドルの口座では、戦略そのものに何一つ問題が起きる前から、42%のバックテストはライブではおよそ27%になります。そしてこれは楽観的なバージョンです。なぜなら、それはそもそもルールがデータに対してフィッティングされていなかったことを前提としているからです。

カーブフィッティングされたバックテストをどう見分けるか？

過去に対してテストされたのではなく、過去に一致するまで調整された戦略の指紋を探してください。カーブフィッティングは痕跡を残し、それを知っていれば簡単に見つけられます。

本物のライブトラックレコードは何を示すべきか？

最低限、第三者による検証、要約ではなく完全なトレード履歴、明記された口座通貨とレバレッジ、そして少なくとも一度の悪い局面を含むのに十分な期間です。これら4つのいずれかが欠けているなら、あなたはまだトラックレコードを手にしておらず、単なる主張を手にしているだけです。

検証が重要なのは、自己申告の数字は反証不可能だからです。Myfxbookのようなプラットフォームはトレーディング口座に直接接続し、すべての負けトレードを含むエクイティカーブを公開します。だからこそ、検証の存在と損失の存在の両方が良いサインなのです。それを正しく読む仕組みについては、Myfxbookのトラックレコードの読み方で解説しています。

リターンだけでなく、リスクの数字も確認したいところです。最大ドローダウン55%を伴う年率60%のリターンは、ドローダウン8%を伴う20%のリターンよりも劣った商品であり、ほとんどのマーケティングはあなたにそれを気づかせないように作られています。ヨーロッパの読者向けドローダウンとシャープレシオではその理由を解説しており、ドローダウンが実際に何を測っているかではその数字自体を解説しています。

そのまま応用できる形での比較を以下に示します。

ヨーロッパの規制はここであなたを守ってくれるのか？

部分的には、そしてほとんどの読者が想定しているよりも少なく。EUと英国のルールは実質的な制約を課しています。ゴールドの個人向けレバレッジはESMA由来のルールにより20倍に制限されており、ネガティブバランスプロテクションが個人口座に適用され、企業は損失を出す個人口座の割合を公表しなければならず、それは通常70%から80%の間に収まります。

規制がしないのは、誰かのパフォーマンスに関する主張を検証することです。規制されたブローカーは、あなたの資金の扱い方と注文の執行方法について規制されています。それは、シグナル提供者、EAベンダー、あるいは戦略のマーケターがリターンについて真実を語っていることを証明するものではありません。これらはしばしば異なる法域の異なる法人であり、ページの下部にある規制済みのロゴは、その主張をしている当事者ではなく、ブローカーに属していることがよくあります。

実践的なステップは、実際に誰が、どの業務について規制されているかを確認することです。その確認のためのより広範なフレームワークは、トレーディングプロバイダーを信頼する前のデューデリジェンスに記載されています。

パフォーマンスの数字を信頼する前に、実際に何をすべきか？

この順序で進め、最初に失敗した時点で止めてください。

1. それがライブかシミュレーションかを確定する。 ページに明確に書かれていなければ、シミュレーションだと想定してください。
2. 検証リンクを探す。 独立したリンクがなければ、その数字はマーケティングの主張です。
3. 最良の期間ではなく、最悪の期間を探す。 最大ドローダウン、それが起きた日付、そして回復にかかった時間を尋ねてください。
4. サンプルを確認する。 数百回未満のトレードや2年未満の期間では、スキルと運を区別するには不十分です。
5. コストを再び加算する。 公表されている数字には、少なくとも手数料とスリッページが省略されていると想定してください。
6. それが機能しなくなったときどうなるかを尋ねる。 すべての戦略はいずれそうなります。答えを持たないプロバイダーは、それについて考えていません。

そして、トレーディング商品を売る人のほとんどが決して書き記さない、本当に見栄えのしない結論です。ほとんどの人にとって、ほとんどの場合、低コストで分散されたインデックスファンドは、積極的にマーケティングされたトレーディング戦略の現実的なコスト控除後の結果を上回ります。誰かがあなたに、より高いリスク、より高いコスト、より多くの複雑さを受け入れるよう求めているなら、その証明責任は完全に相手側にあり、バックテストはその責任を果たしません。

TICの視点は何か？

TICはバックテストではなく、独立検証済みのMyfxbookの記録を通じてパフォーマンスを公開しており、その記録には負けた月も含まれています。なぜなら、それらを含まない曲線は記録とは言えないからです。それが、私たち自身を含めてすべての人に対して、読者が持つべきだと私たちが考える基準です。/resultsでご確認いただけます。

より広い論点は、トラックレコードを評価する方法を学ぶことは、どんな一つのトラックレコードよりも価値があるということです。フィッティングされた曲線と検証済みの曲線を見分けられるようになれば、マーケティングはあなたに対して効かなくなります。それは、そのマーケティングが売ろうとしていたものよりもはるかに価値があります。