Définition

Un arbre de décision est un algorithme d'apprentissage supervisé qui organise les données sous forme d'un arbre. Chaque noeud pose une question sur une caractéristique, permettant de segmenter les données jusqu'à obtenir une prédiction ou une classification aux feuilles.

Formule  & Cas d'utilisation

Utilisée  pour la construction d'arbres de décision en apprentissage supervisé :

• La classification

• La régression

• La sélection de caractéristiques

Définition

Random Forest est un algorithme d'ensemble qui combine de nombreux arbres de décision construits sur des échantillons et des sous-ensembles de caractéristiques aléatoires pour obtenir des prédictions robustes.

Formules  

Échantillonnage bootstrap:

Sélection aléatoire de caractéristiques (Random Subspace):

Indice de pureté – Impureté de Gini:

Gain d'impureté lors d'un split:

Formules  

Prédiction d'un arbre pour la régression:

Prédiction par ensemble d'arbres (Random Forest)

Classification par ensemble d'arbres (Random Forest)

Cas d'utilisation

Random Forest est largement utilisé pour résoudre des problèmes de classification et de régression. Il intervient notamment dans :

• Classification d'images et reconnaissance d'objets
• Détection de fraudes et sécurité
• Diagnostics médicaux et analyse de données biomédicales
• Prédictions financières et segmentation de clientèle
• Sélection de variables et analyse exploratoire de données