Un analyste sélectionne les 10 meilleures variables parmi 200, puis évalue son modèle par validation croisée. Il obtient 48,5 % d’exactitude équilibrée, pour trois classes : bien au-dessus du hasard. Il ignore que ses 200 variables sont du bruit pur. Avant d’aller plus loin, ce qu’il vous faut en main. Votre carnet de bord, celui de ce module : chaque pause de la vidéo y a son cadre. Le livre Constellations, ouvert au chapitre de ce module. Et votre espace compagnon, CST-08, sur ProGera. Avant d’aller plus loin : comment un modèle peut-il battre le hasard sur du bruit pur ? Mettez la vidéo en pause, et notez votre réponse dans votre carnet. Votre contrat pour ce module. Choisir un schéma de validation adapté à la structure des données. Choisir les métriques selon le coût des erreurs. Détecter une fuite d’information. Interpréter un modèle sans conclure à la causalité. Et auditer la performance par sous-groupes. Un modèle ne vaut que par sa performance sur des données qu’il n’a jamais vues. Objectif de l’épisode : choisir le schéma de validation qui imite l’usage réel. La validation croisée stratifiée : toutes les étapes apprises à l’intérieur des plis. La validation imbriquée : une boucle interne pour régler, une boucle externe pour estimer. Par groupes ou blocs spatiaux : un même groupe n’est jamais à la fois en entraînement et en test. Temporelle : jamais de futur dans l’entraînement. Et la validation externe, sur une autre population ou une autre période : la seule preuve…