Riconoscere gli schemi. Decidere prima.

Creare una baseline solida

Un modello complesso deve dimostrare la propria validità rispetto a una regola semplice o al metodo di lavoro precedente. Definiamo questa baseline e separiamo i dati di addestramento, di validazione e di test in base al compito. In particolare, per i dati dipendenti dal tempo, si evita che informazioni provenienti dal futuro confluiscano indirettamente nell'addestramento.

Oltre alla qualità media, esaminiamo i sottogruppi rilevanti e i casi rari. Un buon tasso complessivo può nascondere un processo inutilizzabile se proprio le eccezioni critiche vengono valutate in modo errato. Falsi allarmi, casi non individuati e i costi di una verifica manuale successiva confluiscono quindi nella valutazione di business.

Integrare il modello in un flusso di lavoro sotto controllo

Le previsioni hanno bisogno di un destinatario e di un'azione. Definiamo quando il modello fornisce una raccomandazione, quando decide una persona e quando il sistema deve astenersi dal fornire un'indicazione perché i dati non bastano per un risultato attendibile. Interfacce, tempi di risposta e spiegazioni necessarie vengono adattati a questo processo.

Dopo l'avvio vengono osservati i dati in ingresso e la qualità dei risultati. Cambiamenti nell'offerta di prodotti o nei metodi di lavoro possono influire sull'idoneità di un modello. Concordiamo i criteri che fanno scattare una nuova valutazione, nonché un rollback a una versione precedente o a un processo manuale. Un nuovo addestramento automatico è utile solo se anche la verifica e l'approvazione sono organizzate.