Linienfehlertest: So prüfst du ein Fußballmodell gegen den Markt
Ein Prognosemodell zu bauen ist die eine Aufgabe, die andere ist die Frage: Ist es eigentlich gut? Trefferquoten helfen nur begrenzt, denn sie hängen stark von den Quoten und vom Zufall ab. Ein Verfahren, das stattdessen direkt die Qualität der Torabstand-Schätzung misst, ist der Linienfehlertest. Er vergleicht, wie weit ein Modell im Schnitt neben dem tatsächlichen Ergebnis liegt, und stellt dieses Ergebnis neben die Schätzung des Marktes. Die Grundidee wird auch im Wettblog von Crimson Corporation beschrieben; dieser Beitrag erklärt sie in eigener Form und mit eigenen Zahlen.
Die Grundidee: Fehler in Toren messen
Jedes Modell, das einen erwarteten Torabstand ausgibt, macht eine konkrete Vorhersage: Heimteam gewinnt im Schnitt mit 0,8 Toren Vorsprung, das Spiel wird also leicht zugunsten der Gastgeber erwartet. Das tatsächliche Ergebnis weicht davon fast immer ab. Der Linienfehler ist die Differenz zwischen dem tatsächlichen Torabstand und der Modellvorhersage. Mittelt man ihn über viele Spiele, erhält man ein Maß dafür, wie nahe das Modell an der Realität liegt.
Der Vorteil gegenüber Trefferquoten: Der Linienfehler nutzt die volle Information. Ein 4:0 und ein 1:0 sind beide „Heimsiege“, sagen aber sehr Unterschiedliches über die Stärke aus. Und er lässt sich unmittelbar mit der Schätzung des Marktes vergleichen.
Die 50-Prozent-Linie des Marktes bestimmen
Der Markt gibt keinen erwarteten Torabstand direkt an. Aber aus den Asian-Handicap-Quoten lässt er sich näherungsweise ableiten. Gesucht ist die Linie, bei der beide Seiten gleich wahrscheinlich sind. Das Verfahren in vier Schritten (Näherung, die Viertelhandicaps nicht gesondert behandelt):
- Quoten beider Seiten für zwei benachbarte Linien nehmen, bevorzugt die Schlussquoten, Beispiel: Heim −1,25 bei 2,05 / Gast bei 1,80 und Heim −1,00 bei 1,82 / Gast bei 2,02.
- Marge entfernen: Impliziten Wert 1 / Quote berechnen und durch die Summe beider Seiten teilen. Für −1,25 ergibt sich (1/2,05) / (1/2,05 + 1/1,80) = 0,4675, für −1,00 ergibt sich 0,526.
- Steigung bestimmen: Zwischen den beiden Linien steigt die Wahrscheinlichkeit um 0,526 − 0,4675 = 0,0585 auf 0,25 Tore, also um etwa 0,234 pro Tor.
- Linie für 50 Prozent finden: −1,25 + (0,5 − 0,4675) / 0,234 ≈ −1,11. Der Markt erwartet den Heimsieg also im Mittel um rund 1,1 Tore.
Die Rechnung ist eine lineare Interpolation und daher nur eine Näherung. Sie reicht aber, um die Marktlinie vergleichbar zu machen. Wie man Asian-Handicap-Linien liest, erklärt der Beitrag zu Asian Handicap, wie man sie aus Poisson-Wahrscheinlichkeiten ableitet, dieser hier.
Ein kleines Rechenbeispiel
Angenommen, wir betrachten vier Spiele. Markt und Modell haben je eine erwartete Tordifferenz abgegeben, die tatsächlichen Ergebnisse stehen daneben (alle Zahlen sind fiktiv):
| Spiel | Marktlinie | Modell | Tatsächlich | Fehler Markt | Fehler Modell |
|---|---|---|---|---|---|
| 1 | 1,11 | 1,30 | 3 | +1,89 | +1,70 |
| 2 | 0,45 | 0,60 | 0 | −0,45 | −0,60 |
| 3 | −0,30 | −0,10 | −1 | −0,70 | −0,90 |
| 4 | 0,80 | 0,50 | 1 | +0,20 | +0,50 |
Der mittlere Fehler mit Vorzeichen beträgt für den Markt (1,89 − 0,45 − 0,70 + 0,20) / 4 = 0,235 und für das Modell (1,70 − 0,60 − 0,90 + 0,50) / 4 = 0,175. Er zeigt, ob eine Seite systematisch zu hoch oder zu niedrig liegt, etwa durch einen überschätzten Heimvorteil. Der mittlere absolute Fehler misst dagegen die Größe der Abweichung: Markt (1,89 + 0,45 + 0,70 + 0,20) / 4 = 0,81, Modell (1,70 + 0,60 + 0,90 + 0,50) / 4 = 0,925. In diesem Beispiel hat das Modell also einen geringeren Verzerrungsfehler, aber größere Streuung. Beide Werte sind wichtig, denn positive und negative Fehler können sich gegenseitig aufheben.
Wie man das Ergebnis liest
Ein Modell, dessen Linienfehler dauerhaft kleiner ist als der des Marktes, wäre die Grundlage für langfristigen Erfolg. In effizienten Märkten wie den großen europäischen Ligen ist das äußerst schwer. Bereits ein Modell, das den Schlusslinien nahekommt, ist ein respektables Ergebnis. Als Faustregeln helfen:
- Vergleichszeitpunkt festlegen: Die Schlusslinie ist am genauesten. Wer früher wetten will, sollte sein Modell auch gegen die Linie des Zeitpunkts testen, den er wirklich nutzt (siehe Quotenbewegung lesen).
- Ganze Saisons auswerten: Ein einzelner Spieltag ist viel zu wenig. Der Torabstand eines Spiels streut um rund anderthalb Tore, daher braucht man hunderte Spiele, um kleine Unterschiede zu erkennen.
- Wettbewerbe trennen: Heimvorteil, Torschnitt und Streuung unterscheiden sich zwischen Ligen. Eine Mischung verdeckt Schwächen.
- Änderungen einzeln testen: Jede Modelländerung sollte den Linienfehler auf denselben Daten senken, bevor sie übernommen wird.
Typische Fehler
Der häufigste Fehler ist Datenleck: Verwendet man zur Modellbewertung Informationen, die zum Zeitpunkt der Prognose nicht bekannt waren, wirkt das Modell besser, als es ist. Der Beitrag zum Walk-Forward-Backtest zeigt, wie man das vermeidet. Ebenfalls problematisch sind zu kleine Stichproben und das Auswählen von Zeiträumen, in denen das Modell zufällig gut aussieht. Und: Ein kleiner Linienfehler bedeutet noch keinen Gewinn, denn Gewinne hängen zusätzlich von Marge, Quoten, Einsatzhöhe und Zufall ab.
Der Test ersetzt keine Wirtschaftlichkeitsprüfung. Er beantwortet nur die Frage nach der Qualität der Schätzung. Dieser Beitrag dient der Information und ist keine Wettempfehlung; Hinweise zu Risiken stehen unter Risikohinweise.
Fazit
Der Linienfehlertest macht aus der vagen Frage „Ist mein Modell gut?“ eine messbare Größe. Man vergleicht den Fehler in Toren mit dem Fehler der Marktlinie, achtet auf Vorzeichen und Streuung und wertet genügend Spiele aus. Wer das konsequent und ohne Datenleck tut, bekommt einen belastbaren Maßstab für jede Verbesserung am Modell.