Affinché l’attività di validazione di un Trading System possa risultare efficace è necessaria la presenza di alcuni requisiti fondamentali. Il primo è che essa sia preceduta da una serie di altre importanti operazioni, ovviamente svolte secondo le corrette modalità. Il secondo è che siano ben chiari gli obiettivi di questa fase, così da focalizzare l’attenzione sul loro raggiungimento e garantire al sistema migliori risultati in Real Time. Il terzo, infine, è che essa venga condotta attraverso l’uso di tecniche e strumenti adeguati. Ecco perché abbiamo scelto di trattare il tema della validazione di un Trading System illustrandone i 3 elementi cardine.
1- I presupposti
La fase di validazione di un Trading System ha senso di intervenire solo se abbiamo a disposizione determinati risultati che possano costituire un solido punto di partenza. Si tratta infatti di un processo di verifica e conferma che, come tale, sarebbe una perdita di tempo se applicato in mancanza di una base definita da comprovare. I presupposti necessari alla validazione sono sostanzialmente due.
Il sistema deve innanzitutto essere già passato attraverso un’attenta fase di backtest. L’analisi del Performance Report elaborato ed analizzato durante questa valutazione ci mette nelle condizioni di conoscere il nostro sistema, di capire quale sarà la sua operatività di massima in termini di comportamento. Prima di validare un Trading System dobbiamo essere consapevoli dei suoi criteri di condotta e coscienti dei meccanismi che esso metterà in atto.
Oltre a questo, per effettuare la validazione dobbiamo disporre di un sistema per il quale sia stata già identificata un’area di stabilità. Tentare di validare un sistema che non è in grado di generare performance costanti non è nel nostro interesse. Lo è invece il concentrarci su un set di parametri che, una volta sottoposti a ottimizzazione, abbia superato ogni backtest e permetta al nostro Trading System di restituire risultati comparabili anche in presenza di fluttuazioni nell’andamento del mercato.
2- Gli obiettivi
La validazione di un Trading System non agisce semplicemente a posteriori rispetto al processo di ottimizzazione. Al contrario, ne prosegue il lavoro e ne rafforza i risultati. Il suo primo obiettivo è infatti quello di eseguire un ulteriore controllo sull’area di stabilità, di testare la robustezza del sistema. Un Trading System può essere considerato robusto quando risulta flessibile e, nonostante la sua semplicità di fondo, riesce a dare risultati statisticamente coerenti anche al variare dei dati e degli strumenti finanziari.
Un sistema robusto si adatta bene sia ai dati In Sample che – e soprattutto – a quelli Out of Sample. La sua strategia risulta efficace su tutti i mercati che manifestano un andamento simile, così come su orizzonti temporali adiacenti. In altre parole, tale Trading System è in grado di generare risultati positivi senza dipendere da un insieme delimitato di parametri: superati il backtest e la validazione, avrà ottime probabilità di dimostrarsi profittevole anche nel futuro.
La validazione integra anche la funzione del backtest, in qualche modo. Nell’articolo dedicato abbiamo spiegato come una delle trappole in cui molti trader poco esperti cadono sia quella di costruirsi delle aspettative sul rendimento futuro del sistema a partire dai risultati del backtest. Subendo il fascino del Net Profit mostrato dal Performance Report, fanno più o meno consapevolmente delle previsioni che non sono supportate da un fondamento reale. Dal backtest possiamo anticipare il comportamento del sistema, non i suoi risultati a mercato: la validazione ci consente invece di valutare il grado di aspettativa del Trading System.
Algoritmica ha sviluppato un apposito software chiamato Validator, che ci permette di eseguire questa stima tramite la randomizzazione degli input. Grazie a questo strumento possiamo ad esempio scoprire di aver inizialmente sovrastimato il rapporto tra Net Profit e Drawdown, per il quale stavamo preventivando un valore massimo più alto. Questa analisi – sulle metriche citate così come su tutte le altre – può essere condotta anche manualmente. Validator ha però il vantaggio di essere interoperabile con la piattaforma MultiCharts: può dunque comporre i dati dei suoi report in grafici personalizzati, mirati e funzionali alla valutazione del grado di aspettativa.
Lo step di validazione ha insomma il compito di tenerci coi piedi per terra. Dopo averci dato una panoramica realistica di quali risultati dovremmo aspettarci dal nostro Trading System, ci pone nuovamente la fatidica domanda che abbiamo già incontrato durante il backtest: sono disposto ad accettare il sistema che ho di fronte, con tutte le sue caratteristiche, e ad applicarlo al mio capitale?
3- Le tecniche
Esistono diverse tecniche operative per condurre una validazione corretta di un sistema di trading e definire delle aspettative realistiche di rischio e rendimento. Una di quelle che a nostro avviso si mostrano più efficaci comporta l’applicazione di un’analisi Montecarlo sui trade della Walk Forward Analysis. Spieghiamo brevemente in che cosa consiste.
La Walk Forward Analysis (WFA) è un processo di ottimizzazione che avviene utilizzando una finestra temporale mobile e si compone di un periodo In Sample e di un periodo Out of Sample. Si esegue suddividendo la serie storica di un certo lasso temporale in coppie di segmenti: dopo aver sottoposto ad ottimizzazione gli input del primo segmento di dati storici (In Sample), si effettua un backtest del sistema sui dati storici immediatamente successivi (Out of Sample). Questo schema viene poi ripetuto per tutte le coppie di segmenti.
Nel nostro caso, la WFA non è utilizzata per ottimizzare i parametri, bensì per validare il sistema e comprovarne la stabilità. Tramite questa procedura andiamo a simulare il futuro nel passato. Possiamo così confrontare il risultato aggregato della WFA con quello ottenuto, sulla medesima serie storica, a partire da input sempre uguali. Se il deterioramento – che è inevitabile – rimane entro un range ragionevole (indicativamente inferiore al 50%), allora potremo assumere che il sistema abbia una propria validità.
Veniamo ora allo stress-test attraverso l’analisi Montecarlo. Si prendono i trade della WFA, che sono in ordine cronologico, e si dispongono casualmente in una differente sequenza. Possiamo immaginare questa operazione come il rimescolare un mazzo di carte inizialmente disposte in scale colore. Per ciascuno dei due ordini di trade tracciamo poi la relativa Equity Line e confrontiamo le due curve: se i loro andamenti sono equiparabili, la validazione ha successo. In poche parole, la comparazione consente principalmente di ottenere degli intervalli di confidenza per ciascuna metrica (Montecarlo with replacement) o solo su alcune metriche quali il drawdown e il numero di operazioni vincenti e perdenti consecutive (Montecarlo without replacement).
Abbiamo messo in atto questa metodologia nella validazione di molti Trading System. La successiva applicazione dei sistemi in reale ha restituito risultati del tutto in linea con quelli ottenuti durante la fase di validazione. Questo conferma che l’impiego della combinazione Walk Forward Analysis e analisi Montecarlo è ad oggi una delle tecniche più affidabili per quantificare ex ante la robustezza e il grado di aspettativa di un sistema.
In conclusione
La validazione, che definisce la validità statistica di un sistema, è probabilmente lo step più importante di tutto il percorso per Diventare Quant ed essere completamente autonomi nell’autotrading. È infatti la buona riuscita di questa operazione che segna la differenza tra un sistema promettente solo nel backtest e uno che funziona davvero dopo la messa a mercato.
Anche per questo, l’argomento non può chiaramente essere esaurito in pochi paragrafi. In aggiunta alla partecipazione al Convegno Italiano dei Trading System di sabato 15 Settembre 2018 a Bologna, suggeriamo caldamente di visitare la sezione di questo sito dedicata ai corsi formativi. Il miglior modo per rendere più semplice il raggiungimento di una meta è scegliere bene guida e compagni di viaggio: noi e le nostre competenze siamo a tua disposizione.
Per approfondimenti: https://www.algoritmica.pro/validator/