Metodo. Compreso ciò che non facciamo.

Cosa entra

Un rating di forza per squadra aggiornato partita per partita, la forma sulle ultime cinque, la classifica al momento della previsione, i giorni di riposo, gli scontri diretti, e il fatto che una squadra sia neopromossa. Trentotto stagioni di Serie A, dal 1988-89: tredicimila partite.

Cosa resta fuori, per scelta

Le quote dei bookmaker. Sono la singola informazione più predittiva che esista, e sono a disposizione. Se le mettessimo nel modello, il modello convergerebbe verso il mercato e non potremmo più affermare nulla sull'averlo battuto: il prodotto diventerebbe un modo diverso di mostrare le quote. Le usiamo solo come termine di confronto, mai come ingresso.

Le formazioni. Escono circa un'ora prima del fischio. Le nostre previsioni sono calcolate con le informazioni disponibili alla mezzanotte del giorno della partita, la stessa soglia per tutte le partite di ogni epoca. Usare le formazioni per le partite recenti e non averle per quelle storiche significherebbe misurarsi su due insiemi di informazioni diversi, e il numero pubblicato non sarebbe confrontabile con niente.

I dati di infortunio. Una diagnosi è un dato sanitario. Registriamo l'indisponibilità dichiarata, che è un fatto sportivo pubblico, non la causa.

Come impediamo al modello di vedere il futuro

È il problema centrale di questo mestiere, e il modo in cui quasi tutti i numeri gonfiati nascono. Un modello che per sbaglio legge la classifica di fine stagione, o l'expected goals della partita che sta prevedendo, produce un'accuratezza altissima e completamente falsa.

• I fatti noti prima del fischio e quelli noti dopo stanno in due parti separate del database. Il modello ha accesso solo a funzioni che richiedono un istante di riferimento e filtrano tutto quello che a quell'istante non era ancora noto.
• Un test automatico ricalcola le feature dopo aver cancellato dal database tutto ciò che non era noto al momento della previsione. Se un solo valore cambia, una feature stava guardando avanti e il test fallisce.
• Prima di ogni pubblicazione addestriamo lo stesso modello su esiti mescolati a caso. Se un modello addestrato su etichette casuali riesce a fare meglio del caso, l'informazione entra da un canale che non dovrebbe esistere, e non pubblichiamo.

Perché non promettiamo il 90 per cento

Perché non è ottenibile. Sul più grande confronto pubblico esistente — oltre duecentomila partite — i modelli vincitori indovinano il segno fra il 51 e il 54 per cento delle volte, e le quote di chiusura dei bookmaker stanno fra il 53 e il 55. Il pareggio in particolare non è quasi mai l'esito più probabile per nessun modello calibrato: già questo mette un tetto all'accuratezza raggiungibile. Un novanta per cento pubblicato è la firma di un errore di misura, non di un buon modello.

Per questo la metrica principale non è l'accuratezza ma il log loss, che premia le probabilità ben calibrate e punisce la sicurezza infondata. L'accuratezza su tre esiti sbilanciati premia chi dice sempre «vince la squadra di casa», che in Serie A ha ragione circa il quarantuno per cento delle volte senza sapere niente di calcio.

Fischio pubblica probabilità, non pronostici, e non fornisce indicazioni di gioco. Non contiene link, nomi o marchi di operatori di scommesse, e non traduce mai le probabilità in rendimento atteso.