In un mondo in cui i dati sono sempre più disponibili e abbondanti, la sfida non è tanto trovare dati, ma selezionare quelli giusti. Ogni dataset ha le proprie caratteristiche uniche che possono influenzare il comportamento del modello.
In questo contesto, comprendere l’importanza della scelta del dataset diventa cruciale. È il fondamento su cui il tuo modello si baserà e, come tale, deve essere solido e rappresentativo della realtà che vuoi modellare.
Letture Consigliate
L’importanza del dataset
Quando si vuole costruire un modello di intelligenza artificiale, la scelta del dataset è un passo critico e spesso trascurato che può fare la differenza tra il successo e il fallimento di un progetto. Immagina di costruire una casa: se il terreno su cui costruisci è instabile o poco adatto, l’intera struttura potrebbe essere compromessa. Allo stesso modo, se il dataset su cui basi il tuo modello è incompleto, sbilanciato o poco rappresentativo della realtà che vuoi modellare, le prestazioni del modello saranno inevitabilmente compromesse.
1. Prima di scegliere il dataset
Prima di avventurarsi nella ricerca di un dataset, è essenziale delineare alcuni aspetti cruciali che non solo semplificheranno la scelta, ma contribuiranno anche a garantire il conseguimento dei risultati desiderati. Di seguito sono elencati alcuni punti di riflessione che dovrebbero essere presi in considerazione:
Capire il problema che si vuole risolvere
Inannzitutto è essenziale avere una comprensione chiara del problema che si intende risolvere con il modello di machine learning. Questo implica identificare :
- Variabili di input e output
Le variabili di input rappresentano i dati utilizzati dal modello per effettuare previsioni o classificazioni, mentre le variabili di output sono i risultati attesi del modello.
Identificare le variabili di input e output è cruciale per comprendere quali dati sono necessari per addestrare il modello e quali risultati si prevede di ottenere. Questo aiuta a garantire che il dataset scelto contenga le informazioni necessarie per affrontare il problema in questione. - Tipo di problema
Il tipo di problema che si sta affrontando, che potrebbe essere classificazione, regressione o clustering. Per capire meglio i diversi tipi di problema esistenti puoi leggere l’articolo dedicato.
Definire il tipo di problema in anticipo è fondamentale poiché richiedono dati diversi. Se stai affrontando una classificazione, avrai bisogno di un dataset con variabili di output etichettate in modo appropriato. Ad esempio, se vuoi prevedere se pioverà domani, serviranno dati storici sul tempo atmosferico con etichette (piove o non piove). Se invece stai lavorando su una regressione, necessiterai di dati continui per l’output. Per esempio, se vuoi stimare il prezzo di una casa, avrai bisogno di dati come metratura, numero di camere da letto e prezzi di vendita passati. - L’ambito
Definire l’ambito del problema (come medico, finanziario, satellitare, ecc.) vi aiuterà a restringere la ricerca dei dataset pertinenti. Questo permette di focalizzarsi sui motori di ricerca specializzati in quel settore specifico. Inoltre, stabilire l’ambito del problema è utile per identificare eventuali vincoli o limitazioni sui dati. Ad esempio, alcuni dataset potrebbero essere a pagamento o protetti da copyright.
2. Dove cercare i dati
Oggi, abbiamo a disposizione numerosi motori di ricerca che raccolgono dataset di ogni tipo.
Ecco alcuni dei più popolari:
- Kaggle Datasets: Una delle piattaforme più popolari per data scientist e machine learning engineer, offre una vasta gamma di dataset gratuiti e competizioni di data science.
- Google Dataset Search Engine: Uno strumento di Google che consente di cercare dataset provenienti da una varietà di fonti, tra cui archivi digitali, repository online e siti web di organizzazioni.
- UCI Machine Learning Repository: Un’ampia raccolta di dataset utilizzati dalla comunità di machine learning e data mining per la ricerca accademica.
- OpenML: Una piattaforma che offre un’ampia raccolta di dataset, insieme a strumenti per condividere, esplorare e analizzare i dati.
Quelli citati sono solo alcuni dei più utilizzati, ma ne esistono moltissimi altri specializzati in determinati ambiti, ad esempio per i dati satellitari la NASA offre molti dataset pubblici. Pure l’OMS mette a disposizione diversi dati sulla salute mondiale.
3. Caratteristiche di un buon dataset
L’efficacia di un modello di machine learning dipende in gran parte dalla qualità e dalla rappresentatività del dataset utilizzato per il suo addestramento. In questa sezione, esploreremo le caratteristiche fondamentali che distinguono un buon dataset, garantendo la validità e l’affidabilità dei modelli prodotti.
Importanza delle fonti
Le fonti da cui provengono i dati devono essere accuratamente valutate per garantire che siano affidabili e rappresentative del fenomeno che si sta studiando. Dati provenienti da fonti autorevoli e ben curate tendono ad essere più affidabili e utili.
Evitare bias
Immagina di voler fare una torta e hai bisogno di sapere quali ingredienti piacciono di più alle persone in una città. Se chiedi solo alle persone che vivono in un quartiere ricco, otterrai un’idea distorta perché potrebbero preferire ingredienti diversi rispetto alle persone in un quartiere più modesto. Questo è come un “bias di selezione”. Invece, se chiedi a persone da tutti i quartieri, ottieni un’idea migliore di cosa piace alla città nel suo complesso.
Inoltre, è importante che le persone intervistate siano scelte casualmente, come se mettessi i nomi di tutti gli abitanti della città in un cappello e ne prendessi alcuni a caso. Questo è il “campionamento casuale”. Assicura che ognuno abbia la stessa possibilità di essere scelto e rende i risultati più affidabili.
Campionamento casuale
Il processo di campionamento dei dati dovrebbe essere casuale e indipendente da eventuali fattori confondenti per evitare distorsioni nei risultati. È importante che i dati siano rappresentativi della popolazione di riferimento e che non siano influenzati da variabili esterne non rilevanti per il problema in esame.
Ad esempio, immagina di voler condurre un sondaggio sulla preferenza dei gusti di gelato tra i residenti di una città. Hai un elenco di 1000 persone e vuoi intervistare solo una parte di loro. Per garantire la rappresentatività dei risultati, esegui un campionamento casuale: assegni un numero univoco a ciascuna persona e, utilizzando un metodo casuale come l’estrazione casuale dei numeri, selezioni casualmente un certo numero di persone per l’intervista. In questo modo, ogni individuo ha la stessa probabilità di essere scelto per l’intervista, senza essere influenzato da fattori come l’età, il reddito o il quartiere di residenza. Questo assicura che il campione rifletta accuratamente le preferenze della popolazione nel suo insieme, senza distorsioni o pregiudizi.
Dimensioni del dataset
Un buon dataset dovrebbe essere sufficientemente grande da rappresentare la varietà dei dati e tutte le casistiche possibili. In questo modo, il modello di machine learning sarà in grado di apprendere pattern significativi e generalizzare correttamente anche su dati non osservati durante l’addestramento. È importante evitare dataset troppo piccoli o troppo specializzati, che potrebbero limitare la capacità del modello di generalizzare correttamente.
La capacità di generalizzare di un modello si riferisce alla sua capacità di fare previsioni accurate su nuovi dati che non ha mai visto prima. Immagina un bambino che impara a riconoscere le biciclette guardando molte foto di biciclette diverse. Se è bravo a riconoscere nuove biciclette che non ha mai visto prima, diciamo che ha una buona capacità di generalizzare. Lo stesso concetto si applica ai modelli di machine learning: se un modello può fare previsioni corrette su dati che non ha mai visto prima, allora ha una buona capacità di generalizzare.
4. Impurità dei dati
Ora che abbiamo definito chiaramente l’obiettivo del nostro progetto e abbiamo un’idea delle caratteristiche che il dataset dovrebbe possedere, è il momento di esplorare gli eventuali difetti dei dataset e identificare le proprietà che dovremmo evitare. Questi difetti possono portare a problemi durante la fase di addestramento del modello o causare prestazioni scadenti del modello finale.
È importante sottolineare che in questo articolo stiamo fornendo una panoramica di base e puramente teorica su queste problematiche. Per imparare come identificare con precisione questi difetti, consigliamo di leggere il seguente articolo.
Classi sbilanciate
Quando ci sono classi sbilanciate, significa che ci sono un numero molto diverso di casi per ciascuna categoria nel dataset. Questo può causare problemi perché il modello di machine learning potrebbe essere influenzato eccessivamente dalla classe con più istanze, ignorando le altre. Ci sono metodi per affrontare questo problema, come ridurre o aumentare il numero di casi in ogni classe, ma è sempre preferibile utilizzare dataset con un bilanciamento più uniforme tra le classi.
Valori mancanti (Missing Values)
Supponi di compilare un questionario con domande su cosa ti piace fare nel tempo libero. Potresti rispondere a tutte le domande tranne a una, perché non hai un’idea precisa o non ti interessa. Questa domanda senza risposta è ciò che chiamiamo un “valore mancante”.
I valori mancanti sono come le risposte che mancano nel questionario: ci sono delle buche nelle informazioni che abbiamo raccolto. Possono essere dovuti a diverse ragioni, come dimenticanza di rispondere, informazioni non disponibili o errori nella raccolta dei dati.
Quando si tratta di dati, i valori mancanti possono creare problemi perché ci mancano informazioni importanti. Ad esempio, se stiamo cercando di capire quali attività siano più popolari tra i giovani e molti di loro non hanno risposto a una domanda specifica, potremmo avere una visione distorta della situazione.
Outliers
Immagina di avere un gruppo di amici e di chiedere loro quanto guadagnano ogni mese. La maggior parte dei tuoi amici potrebbe avere stipendi simili, ma potresti incontrare qualcuno con un reddito molto più alto o molto più basso rispetto alla media del gruppo. Questa persona con un reddito molto diverso dagli altri è ciò che chiamiamo un “valore strano” o un “outlier”.
Quando si tratta di dati, gli outliers possono influenzare i risultati del nostro lavoro. Per esempio, se stiamo cercando di calcolare la media dei redditi dei nostri amici e includiamo il reddito di qualcuno molto ricco, la media potrebbe risultare molto più alta di quanto ci aspettassimo. Allo stesso modo, se ci fosse un errore e un reddito molto basso venisse incluso, la media potrebbe risultare troppo bassa.
5. Conclusione
In questo articolo, abbiamo esaminato le caratteristiche che dovrebbe possedere un buon dataset e le imperfezioni che dovrebbe evitare. È importante riconoscere che non esiste un dataset perfetto; ogni insieme di dati avrà delle imperfezioni o potrebbe mancare di alcune caratteristiche desiderabili. Pertanto, stabilire chiaramente gli obiettivi e i requisiti del problema che stiamo affrontando diventa cruciale. Questo ci consente di valutare in modo ponderato quali difetti possono essere tollerati e quali devono essere evitati durante la selezione e la preparazione dei dati.
Leggi ora l’analisi esplorativa
