Il tranello del backtest
Overfitting e walk forward:
come non ingannarsi
L'overfitting è quando una strategia viene regolata così bene sul passato da imparare il rumore invece del comportamento del mercato. Sullo storico sembra ottima, sui dati nuovi peggiora. L'analisi walk forward lo smaschera ottimizzando su un periodo e verificando su quello successivo, più volte di fila.
Cos'è l'overfitting nel trading
Ogni serie di prezzi contiene due cose: un comportamento che tende a ripetersi e una grande quantità di movimenti casuali. Quando provi centinaia di combinazioni di parametri, prima o poi ne trovi una che sfrutta proprio i movimenti casuali di quel periodo. Il risultato è una curva bellissima che non ha alcun motivo di ripetersi.
Si chiama anche sovraottimizzazione o adattamento ai dati. Il problema non è ottimizzare, ma ottimizzare troppo: più regole, filtri e parametri aggiungi, più è facile spiegare il passato e più è difficile prevedere qualcosa sul futuro.
Come riconoscere una strategia con overfitting
Nessun segnale è una prova da solo, ma se ne vedi più di uno insieme conviene fermarsi.
- Tanti parametri rispetto al numero di operazioni, per esempio otto parametri e 60 operazioni.
- Regole troppo specifiche, come «non operare il martedì tra le 14 e le 15» senza una ragione di mercato.
- Una curva del conto quasi senza discese su molti anni, cosa che i mercati veri non concedono.
- Risultati che crollano cambiando di poco un parametro, per esempio da 50 a 48 periodi.
- Un test fuori campione molto peggiore di quello su cui la strategia è stata costruita.
Robustezza dei parametri: picco isolato o altopiano
Un modo semplice per controllare la robustezza è guardare i parametri vicini a quello scelto. Esempio con una media mobile e il profit factor ottenuto nel backtest.
| Periodo della media | Strategia fragile | Strategia robusta |
|---|---|---|
| 40 | 0,92 | 1,31 |
| 45 | 1,05 | 1,36 |
| 50 | 1,94 | 1,40 |
| 55 | 0,98 | 1,35 |
| 60 | 0,88 | 1,29 |
La strategia fragile ha un solo valore buono circondato da perdite: è quasi certamente un caso. Quella robusta ha numeri più bassi al centro, ma simili su tutta la zona. È questa la forma da cercare.
Come funziona l'analisi walk forward
L'analisi walk forward ripete il test fuori campione più volte, spostandosi avanti nel tempo. Si ottimizza la strategia su una finestra, per esempio quattro anni, e la si applica senza modifiche all'anno successivo. Poi la finestra scorre di un anno e si ripete.
Alla fine si mettono in fila solo i risultati degli anni di verifica. Quella è una stima molto più onesta di come si sarebbe comportata la strategia se l'avessi usata davvero, ricalibrandola di tanto in tanto.
Un esempio di walk forward anno per anno
Quattro anni di ottimizzazione, uno di verifica, finestra che scorre di dodici mesi.
| Ottimizzazione | Verifica | Risultato in ottimizzazione | Risultato in verifica |
|---|---|---|---|
| 2016-2019 | 2020 | +11% | +6% |
| 2017-2020 | 2021 | +10% | -3% |
| 2018-2021 | 2022 | +12% | +8% |
| 2019-2022 | 2023 | +9% | +4% |
| 2020-2023 | 2024 | +10% | +5% |
La media in verifica è il 4% annuo contro il 10,4% in ottimizzazione: circa il 38%. C'è un anno negativo, come è normale. Il dato da guardare è la coerenza, non il singolo anno migliore.
Gli errori più comuni con il walk forward
Il primo è usare il walk forward come un'altra ottimizzazione: provare dieci configurazioni di finestre e tenere quella che esce meglio. Così l'overfitting rientra dalla porta di servizio. Lunghezza delle finestre e regole vanno decise prima di guardare i risultati.
Il secondo è usare finestre di verifica troppo corte, con poche operazioni ciascuna: il risultato dipende dal caso. Il terzo è giudicare solo la media e ignorare la dispersione. Molti autori, tra cui Robert Pardo nei suoi testi sulla valutazione delle strategie, confrontano il rendimento in verifica con quello in ottimizzazione e considerano incoraggiante un rapporto intorno alla metà o superiore. Nell'esempio sopra siamo sotto quella soglia, ed è un motivo per andare cauti.
Le domande
più comuni
No, è sbagliato ottimizzare troppo. Regolare pochi parametri su un periodo lungo e poi verificarli fuori campione è normale. Cercare la combinazione perfetta tra migliaia è la strada per l'overfitting.
Abbastanza da contenere un numero sensato di operazioni, di solito qualche decina. Spesso si usa un rapporto di circa tre o quattro a uno tra ottimizzazione e verifica.
Il tester di MetaTrader 5 permette di riservare una parte del periodo al test in avanti. Un walk forward completo a finestre mobili si ottiene ripetendo il test su più periodi o con strumenti esterni.
Chiedi uno storico su conto reale verificato da terzi e confrontalo con il backtest. Se il backtest è perfetto e il conto reale è molto peggiore, è il segnale classico.
Vuoi impararlo con un metodo
Il percorso gratuito di Control Academy parte da zero e ti spiega le basi dei mercati con un ordine preciso.
Registrati gratis all'AcademyContinua con
Il trading sui mercati finanziari comporta rischi significativi e può comportare la perdita totale del capitale investito. Le performance passate non sono indicative di risultati futuri. CONTROL è un prodotto informatico neutro e non costituisce consulenza finanziaria o garanzia di reddito.