Constituer un jeu de données de machine learning consiste moins à tout collecter qu'à collecter les bonnes données avec des définitions cohérentes et du contexte.
La collecte de données doit être planifiée avant l'entraînement du modèle pour éviter les biais, les fuites de données et les reprises coûteuses.
Six règles pour une collecte de données fiable
- Définissez l'objectif et la variable cible avant de collecter les données.
- Documentez les sources de données, leur propriétaire et les méthodes de collecte afin d'assurer la traçabilité.
- Priorisez la qualité des données : l'exhaustivité, la cohérence et la précision comptent plus que le volume.
- Équilibrez les classes et surveillez les biais d'échantillonnage afin que le jeu de données représente la réalité.
- Respectez la confidentialité, le consentement et les réglementations applicables lors de la collecte des données.
- Versionnez les jeux de données et surveillez la dérive lorsque de nouvelles données arrivent et que les conditions changent.
Appliquer ces règles rend les jeux de données réutilisables et aide les modèles à généraliser en production.