Backtests: Warum historische Ergebnisse irreführen können

Eine historische Rechnung ist keine historische Entscheidung

Ein Backtest wendet eine Regel auf vergangene Daten an und berechnet, was unter festgelegten Annahmen geschehen wäre. Er kann helfen, die Mechanik eines Modells zu prüfen, doch die Berechnung ist hypothetisch. Der Analyst weiß bereits, wie die Geschichte verlief, und muss rekonstruieren, welche Informationen, Wertpapiere und Handelsbedingungen zu jedem simulierten Entscheidungszeitpunkt verfügbar waren.

Diese Rekonstruktion kann auch bei korrekter Renditeformel scheitern. Eine Datenbank heute bestehender Unternehmen kann verschwundene Unternehmen auslassen. Eine revidierte Wirtschaftszahl kann die ursprünglich veröffentlichte Version ersetzen. Eine Strategie kann ein späteres Veröffentlichungsdatum falsch verwenden oder ausgewählt werden, weil sie zufällig genau zu derselben historischen Stichprobe passt, anhand derer ihr Ergebnis berichtet wird.

Das sind unterschiedliche Probleme. Überlebensverzerrung betrifft, welche Einheiten in der Stichprobe verbleiben. Vorausschaufehler betreffen Informationen aus der simulierten Zukunft. Überanpassung betrifft Entscheidungen, die auf bestimmte historische Beobachtungen zugeschnitten sind. Sie können gemeinsam auftreten, doch ihre getrennte Benennung erleichtert die Prüfung der Analyseannahmen.

Eine Informationszeitachse führen

Ein zeitpunktbezogenes Anlageuniversum erfasst die zum simulierten Datum zulässigen Bestandteile, einschließlich später entfernter. Finanzberichte benötigen ebenfalls Verfügbarkeitsdaten und nicht nur den Zeitraum, den sie beschreiben. Eine im Dezember endende Rechnungsperiode kann erst Monate später veröffentlicht werden. Ihre endgültigen Zahlen für eine Dezemberentscheidung zu verwenden kann Informationen einführen, die der simulierte Analyst nicht besaß.

Auch Revisionen und Kapitalmaßnahmen müssen einheitlich behandelt werden. Eine bereinigte Kursreihe kann für Renditeberechnungen nützlich sein, doch Bereinigungsmethode und verfügbare Informationen sollten zum Test passen. Die nachstehende Forschung untersucht rückblickend bestimmte Benchmark-Mitgliedschaft und wiederholte Modellauswahl; das synthetische Beispiel wurde unabhängig erstellt und nicht aus einem empirischen Ergebnis übernommen.

Die Zeitzone einer Veröffentlichung kann für Entscheidungen nahe der Markteröffnung wichtig sein.

Eine saubere Stichprobe klärt weder Modellauswahl noch Handel

Viele Regeln auszuprobieren und nur das stärkste historische Ergebnis zu zeigen schafft auch ohne fehlende Unternehmen ein Auswahlproblem. Die gewählte Regel kann Zufallsmuster dieser Stichprobe erfassen. Ein unberührter Auswertungszeitraum kann zusätzliche Belege liefern, wird bei wiederholter Einsicht aber zu einem weiteren Auswahlwerkzeug. Keine einzelne Aufteilung oder statistische Kennzahl garantiert, dass ein Modell nützlich bleibt.

Auch Handelsannahmen sind wichtig. Provisionen, Spannen, Markteinfluss, Leihbeschränkungen und Ausführungszeitpunkte können einen Modellpreis von einer realisierbaren Transaktion trennen. Das Beispiel lässt diese Kosten aus, um das Universumsproblem zu isolieren. Ein Analysebericht sollte Ausschlüsse und gescheiterte oder alternative Spezifikationen offenlegen, statt eine glatte Kurve an die Stelle einer reproduzierbaren Methode zu setzen.