Glossaire du machine learning: Bases du ML

Cette page contient les termes du glossaire ML Fundamentals. Pour tous les termes du glossaire, cliquez ici.

A

accuracy

Nombre de prédictions de classification correcte divisé par le nombre total de prédictions. Par exemple :

Par exemple, un modèle ayant effectué 40 prédictions correctes et 10 prédictions incorrectes la précision des prédictions est de:

La classification binaire fournit des noms spécifiques pour connaître les différentes catégories de prédictions correctes prédictions incorrectes. La formule de justesse pour la classification binaire se présente comme suit:

où :

• "VP" correspond au nombre de vrais positifs (prédictions correctes).
• VN correspond au nombre de vrais négatifs (prédictions correctes).
• "FP" correspond au nombre de faux positifs (prédictions incorrectes).
• "FN" correspond au nombre de faux négatifs (prédictions incorrectes).

Indiquer les points communs et les différences entre précision et rappel.

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

fonction d'activation

Fonction qui permet aux réseaux de neurones d'apprendre Relations nonlinear (complexes) entre les caractéristiques et l'étiquette.

Les fonctions d'activation les plus courantes sont les suivantes:

• ReLU
• Sigmoïde

Les tracés des fonctions d'activation ne sont jamais de simples lignes droites. Par exemple, le tracé de la fonction d'activation ReLU est le suivant : deux lignes droites:

Voici un graphique illustrant la fonction d'activation sigmoïde:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

intelligence artificielle

Programme ou modèle non humain capable d'exécuter des tâches complexes. Par exemple, un programme ou un modèle qui traduit du texte, ou un programme ou un modèle identifie les maladies à partir d'images radiologiques souffrent toutes deux d'intelligence artificielle.

Officiellement, le machine learning est un sous-domaine de l'intelligence artificielle et l'intelligence artificielle. Cependant, ces dernières années, certaines entreprises ont commencé à utiliser les termes intelligence artificielle et machine learning sont interchangeables.

AUC (aire sous la courbe ROC)

Un nombre compris entre 0,0 et 1,0 représentant une modèle de classification binaire possibilité de séparer les classes positives des classes négatives. Plus l'AUC est proche de 1,0, meilleure est la capacité du modèle à séparer les uns des autres.

Par exemple, l'illustration suivante montre un modèle de classificateur qui sépare les classes positives (ovales verts) des classes négatives (rectangles violets). Ce modèle irréaliste parfaitement un AUC de 1,0:

À l'inverse, l'illustration suivante montre les résultats pour un classificateur. qui a généré des résultats aléatoires. Ce modèle a un AUC de 0,5:

Oui, l'AUC du modèle précédent est de 0,5, et non de 0,0.

La plupart des modèles se situent entre les deux extrêmes. Par exemple, le paramètre permet de séparer quelque peu les positifs et les négatifs. a un AUC compris entre 0,5 et 1,0:

L'AUC ignore toute valeur définie pour seuil de classification. Au lieu de cela, l'AUC prend en compte tous les seuils de classification possibles.

B

rétropropagation

L'algorithme qui implémente descente de gradient dans réseaux de neurones.

L'entraînement d'un réseau de neurones implique de nombreuses itérations du cycle en deux passages suivant:

1. Lors de la propagation avant, le système traite un lot de exemples pour générer une ou plusieurs prédictions. Le système compare chaque à chaque valeur d'étiquette. La différence entre la prédiction et la valeur de l'étiquette correspond à la perte pour cet exemple. Le système agrège les pertes pour tous les exemples afin de calculer le total pour le lot actuel.
2. Lors de la rétropropagation, le système réduit la perte de ajuster les pondérations de tous les neurones de toutes les couche(s) cachée(s).

Les réseaux de neurones contiennent souvent de nombreux neurones dans de nombreuses couches cachées. Chacun de ces neurones contribue à la perte globale de différentes manières. La rétropropagation détermine s'il faut augmenter ou diminuer les pondérations appliquées à certains neurones.

Le taux d'apprentissage est un multiplicateur qui contrôle degré auquel chaque rétrogradation augmente ou diminue chaque pondération. Un taux d'apprentissage élevé augmente ou diminue chaque pondération un faible taux d'apprentissage.

En termes de calcul, la rétropropagation implémente le règle de la chaîne. du calcul. Autrement dit, la rétropropagation calcule dérivée partielle de l'erreur avec pour chaque paramètre.

Il y a quelques années, les professionnels du ML devaient écrire du code pour implémenter la rétropropagation. Les API de ML modernes comme TensorFlow implémentent désormais la rétropropagation pour vous. Ouf !

lot

Ensemble des exemples utilisés dans une formation itération. La taille de lot détermine le nombre d'exemples dans un par lot.

Reportez-vous à la section epoch pour plus d'informations sur la manière dont un lot est lié à par époque.

taille de lot

Nombre d'exemples dans un lot. Par exemple, si la taille de lot est de 100, le modèle traite 100 exemples par itération

Voici des stratégies couramment utilisées pour la taille de lot:

• Descente de gradient stochastique (SGD), où la taille de lot est de 1.
• "Lot complet", dont la taille correspond au nombre d'exemples dans l'intégralité ensemble d'entraînement. Par exemple, si l'ensemble d'entraînement contient un million d'exemples, alors la taille de lot est d'un million exemples. Le traitement par lot complet est généralement une stratégie inefficace.
• mini-lot dont la taille de lot est généralement comprise entre 10 et 1 000. Le mini-lot est généralement la stratégie la plus efficace.

biais (éthique/impartialité)

1. Stéréotypage, préjugé ou favoritisme envers certaines choses, des personnes, ou des groupes plutôt que d'autres. Ces biais peuvent affecter la collecte l'interprétation des données, la conception d'un système et la façon dont les utilisateurs interagissent avec un système. Les formes de ce type de préjugé comprennent:

• biais d'automatisation
• biais de confirmation
• biais de l'expérimentateur
• biais de représentativité
• biais implicite
• biais d'appartenance
• biais d'homogénéité de l'exogroupe

2. Erreur systématique introduite par une procédure d'échantillonnage ou de création de rapports. Les formes de ce type de préjugé comprennent:

• biais de couverture
• biais de non-réponse
• biais de participation
• biais de fréquence
• biais d'échantillonnage
• biais de sélection

À ne pas confondre avec le biais utilisé dans les modèles de machine learning ou biais de prédiction.

biais (mathématiques) ou terme de biais

Interception ou décalage par rapport à une origine. Le biais est un paramètre dans de machine learning, symbolisé par l'un ou l'autre suivantes:

• B
• W₀

Par exemple, b représente le biais dans la formule suivante:

Dans une ligne bidimensionnelle simple, le biais signifie simplement "ordonnée". Par exemple, dans l'illustration suivante, le biais de la ligne est de 2.

Il existe un biais, car tous les modèles ne partent pas de l'origine (0,0). Par exemple : supposons qu'un parc d'attractions coûte 2 euros et 0,5 euro par heure de séjour. Par conséquent, un modèle mappant le coût total a un biais de 2, car le coût le plus bas est de 2 euros.

Il ne faut pas confondre les préjugés avec les biais en matière d'éthique et d'équité. ou biais de prédiction.

classification binaire

Type de tâche de classification qui prédit l'une des deux classes s'excluant mutuellement:

• la classe positive ;
• Classe négative

Par exemple, les deux modèles de machine learning suivants effectuent chacun Classification binaire:

• Un modèle qui détermine si les e-mails sont spam (classe positive) ou non spam (classe négative).
• Un modèle qui évalue les symptômes médicaux pour déterminer si une personne souffre d'une maladie particulière (la classe positive) ou n'en souffre pas ; (classe négative).

À comparer à la classification à classes multiples.

Voir aussi Régression logistique et seuil de classification.

le binning

Convertir une seule caractéristique en plusieurs caractéristiques binaires appelés buckets ou bins, généralement en fonction d'une plage de valeurs. La caractéristique hachée est généralement caractéristique continue.

Par exemple, au lieu de représenter la température comme une à virgule flottante continue, vous pouvez hacher des plages de températures en buckets discrets, tels que:

• <= 10 degrés Celsius correspond au "froid" bucket.
• Entre 11 et 24 degrés Celsius correspond à "tempéré" bucket.
• Une température supérieure ou égale à 25 degrés Celsius correspond à la température "chaude". bucket.

Le modèle traitera de manière identique chaque valeur d'un même bucket. Pour Par exemple, les valeurs 13 et 22 se trouvent toutes deux dans le bucket tempéré. Par conséquent, le traite les deux valeurs de manière identique.

C

données catégorielles

Caractéristiques ayant un ensemble spécifique de valeurs possibles. Par exemple : considérez une caractéristique catégorielle nommée traffic-light-state, qui ne peut ont l'une des trois valeurs suivantes:

• red
• yellow
• green

En représentant traffic-light-state comme une caractéristique catégorielle, un modèle peut apprendre impacts différents de red, green et yellow sur le comportement des conducteurs.

Les caractéristiques catégorielles sont parfois appelées caractéristiques discrètes.

À comparer aux données numériques.

classe

Catégorie à laquelle un libellé peut appartenir. Exemple :

• Dans un modèle de classification binaire qui détecte comme spam, les deux classes peuvent être spam et non spam.
• Dans un modèle de classification à classes multiples identifiant la race des chiens, les classes peuvent être caniche, beagle, carlin, et ainsi de suite.

Un modèle de classification prédit une classe. En revanche, un modèle de régression prédit un nombre et non une classe.

modèle de classification

Un modèle dont la prédiction est une classe. Voici des exemples de tous les modèles de classification:

• Un modèle qui prédit la langue d'une phrase d'entrée (le français ? Espagnol ? italien ?).
• Un modèle qui prédit les espèces d'arbres Chêne ? Baobab?).
• Un modèle qui prédit la classe positive ou négative d'une valeur donnée ou d'une maladie.

En revanche, les modèles de régression prédisent des nombres plutôt que des classes.

Voici deux types courants de modèles de classification:

• classification binaire
• classification à classes multiples

seuil de classification

Dans une classification binaire, entre 0 et 1, qui convertit la sortie brute d'une modèle de régression logistique ; en une prédiction de la classe positive ou la classe négative. Notez que le seuil de classification est une valeur choisie par un humain, et non une valeur choisie par l'entraînement du modèle.

Un modèle de régression logistique génère une valeur brute comprise entre 0 et 1. Ensuite :

• Si cette valeur brute est supérieure au seuil de classification, alors la classe positive est prédite.
• Si cette valeur brute est inférieure au seuil de classification, alors la classe négative est prédite.

Par exemple, supposons que le seuil de classification soit de 0,8. Si la valeur brute égale à 0,9, le modèle prédit la classe positive. Si la valeur brute est 0,7, le modèle prédit alors la classe négative.

Le choix du seuil de classification a une forte influence sur le nombre faux positifs et faux négatifs.

ensemble de données avec déséquilibre des classes

Jeu de données pour un problème de classification dans lequel le nombre total des étiquettes de chaque classe diffère considérablement. Prenons l'exemple d'un ensemble de données de classification binaire dont deux étiquettes sont divisés comme suit:

• 1 000 000 étiquettes négatives
• 10 étiquettes positives

Le ratio entre les étiquettes négatives et positives est de 100 000 pour 1. est un ensemble de données avec déséquilibre des classes.

En revanche, l'ensemble de données suivant n'est pas avec un déséquilibre des classes, car le le rapport entre les étiquettes négatives et les étiquettes positives est relativement proche de 1:

• 517 étiquettes à exclure
• 483 étiquettes positives

Les ensembles de données à classes multiples peuvent également présenter un déséquilibre entre les classes. Par exemple : un ensemble de données de classification à classes multiples présente également un déséquilibre entre classes, car une étiquette contient beaucoup plus d'exemples que les deux autres:

• 1 000 000 étiquettes avec la classe "green"
• 200 étiquettes avec la classe "violet"
• 350 libellés avec la classe "orange"

Voir aussi entropie, classe de majorité, et la classe minoritaire.

rognage

Une technique de gestion des valeurs aberrantes : l'un des éléments suivants, ou les deux:

• Réduire les valeurs de caractéristiques supérieures à une valeur maximale jusqu'à ce seuil maximal.
• Augmenter les valeurs des caractéristiques inférieures à un seuil minimal jusqu'à cette seuil minimal.

Par exemple, supposons que moins de 0,5% des valeurs d'une caractéristique particulière tombent en dehors de la plage 40-60. Dans ce cas, vous pouvez procéder comme suit:

• Rogner toutes les valeurs supérieures à 60 (seuil maximal) pour qu'elles soient exactement égales à 60.
• Rogner toutes les valeurs inférieures à 40 (seuil minimal) pour obtenir exactement 40.

Les anomalies peuvent endommager les modèles et entraîner parfois des pondérations pendant l'entraînement. Certaines valeurs aberrantes peuvent aussi considérablement gâcher des métriques telles que la précision. Le rognage est une technique courante pour limiter les dommages.

Force le bornement de gradient des valeurs de gradient dans une plage désignée pendant l'entraînement.

matrice de confusion

Table NxN qui résume le nombre de prédictions correctes et incorrectes généré par un modèle de classification. Prenons l'exemple de la matrice de confusion suivante, modèle de classification binaire:

La matrice de confusion précédente montre les éléments suivants:

• Sur les 19 prédictions pour lesquelles la vérité terrain était "Tumor", le modèle a classé 18 correctement et 1 de manière incorrecte.
• Sur les 458 prédictions pour lesquelles la vérité terrain ne correspondait pas à une tumeur, le modèle les catégories 452 et 6 sont incorrectes.

Matrice de confusion pour une classification à classes multiples peut vous aider à identifier des modèles d'erreurs. Prenons l'exemple de la matrice de confusion suivante pour un modèle à 3 classes modèle de classification à classes multiples qui classe trois types d'iris différents (Virginica, Versicolor et Setosa). Lorsque la vérité terrain était Virginica, la matrice de confusion montre que le modèle était beaucoup plus susceptible de se tromper pour prédire des couleurs Versicolor plutôt que Setosa:

Autre exemple, une matrice de confusion peut révéler qu'un modèle entraîné à reconnaître les chiffres manuscrits tend à prédire à tort 9 au lieu de 4, ou prédit à tort 1 au lieu de 7.

Les matrices de confusion contiennent suffisamment d'informations pour calculer diverses métriques de performances, y compris la précision ; et le rappel.

fonctionnalité continue

Caractéristique à virgule flottante avec une plage infinie de possibilités comme la température ou le poids.

À comparer à la caractéristique discrète.

convergence

État atteint lorsque les valeurs de perte changent très peu ou pas du tout à chaque itération. Par exemple : La courbe de perte suggère une convergence à environ 700 itérations:

Un modèle converge lorsqu'un entraînement supplémentaire n'est pas pour améliorer le modèle.

Dans le deep learning, les valeurs de perte restent parfois constantes ou presque pendant de nombreuses itérations avant finalement redescendre. Sur une longue période de valeurs de perte constantes, vous pouvez temporairement avoir une fausse impression de convergence.

Voir aussi arrêt prématuré.

D

DataFrame

Type de données pandas populaire, qui permet de représenter ensembles de données en mémoire.

Un DataFrame est analogue à un tableau ou à une feuille de calcul. Chaque colonne de un DataFrame a un nom (un en-tête), et chaque ligne est identifiée par un numéro unique.

Chaque colonne d'un DataFrame est structurée comme un tableau 2D, sauf que chaque colonne peut se voir attribuer son propre type de données.

Voir aussi la version officielle Documentation de référence sur pandas.DataFrame .

ensemble de données

Ensemble de données brutes, généralement (mais pas exclusivement) organisées de façon à des formats suivants:

• une feuille de calcul
• Un fichier au format CSV (valeurs séparées par des virgules)

modèle deep learning

Un réseau de neurones contenant plusieurs couche cachée.

Un modèle profond est également appelé réseau de neurones profond.

À comparer au modèle large.

caractéristique dense

caractéristique dans laquelle la plupart ou la totalité des valeurs sont différentes de zéro, généralement un Tensor de valeurs à virgule flottante. Par exemple : Le Tensor à 10 éléments est dense, car neuf de ses valeurs sont différentes de zéro:

À comparer à la caractéristique creuse.

profondeur

Somme des éléments suivants dans un réseau de neurones:

• le nombre de couches cachées ;
• le nombre de couches de sortie, qui est généralement de 1
• le nombre de couches d'intégration ;

Par exemple, un réseau de neurones avec cinq couches cachées et une couche de sortie a une profondeur de 6.

Notez que la couche d'entrée ne influencer la profondeur.

caractéristique discrète

Caractéristique avec un ensemble limité de valeurs possibles. Par exemple : une caractéristique dont les valeurs peuvent uniquement être animal, légume ou minéral est une caractéristique discrète (ou catégorielle).

À comparer à la caractéristique continue.

dynamic

Quelque chose fait fréquemment ou continuellement. Les termes dynamique et en ligne sont des synonymes en machine learning. Voici des utilisations courantes de dynamique et en ligne dans apprentissage:

• Un modèle dynamique (ou modèle en ligne) est un modèle qui sont réentraînés fréquemment ou en continu.
• L'entraînement dynamique (ou l'entraînement en ligne) est le processus d'entraînement. fréquemment ou en continu.
• L'inférence dynamique (ou inférence en ligne) est le processus générer des prédictions à la demande.

modèle dynamique

Un modèle fréquemment (peut-être continu) réentraîné. Un modèle dynamique apprend tout au long de sa vie que s'adapte constamment à l'évolution des données. Un modèle dynamique est également appelé modèle en ligne.

À comparer au modèle statique.

E

arrêt prématuré

Méthode de régularisation impliquant de terminer entraînement avant la fin de la perte d'entraînement diminue. Lors de l'arrêt prématuré, vous arrêtez volontairement l'entraînement du modèle Lorsque la perte d'un ensemble de données de validation commence à increase; c'est-à-dire, quand les performances en généralisation se dégradent.

couche de représentation vectorielle continue

Une couche cachée spéciale qui s'entraîne sur une une caractéristique catégorielle de grande dimension pour nous apprendrons progressivement un vecteur de représentation vectorielle continue de dimension inférieure. Une la couche de représentation vectorielle continue permet à un réseau de neurones d'entraîner plus efficace que l'entraînement sur la caractéristique catégorielle de grande dimension.

Par exemple, Google Earth accueille actuellement environ 73 000 espèces d'arbres. Supposons espèce d'arbre est une caractéristique de votre modèle. Par conséquent, la couche d'entrée inclut un vecteur one-hot 73 000 les éléments de long. Par exemple, baobab serait peut-être représenté comme ceci:

Un tableau de 73 000 éléments est très long. Si vous n'ajoutez pas de couche de représentation vectorielle continue au modèle, l'entraînement prend beaucoup de temps, car en multipliant 72 999 zéros. Vous choisissez peut-être la couche de représentation vectorielle continue 12 dimensions. La couche de représentation vectorielle continue va donc apprendre progressivement un nouveau vecteur de représentation vectorielle continue pour chaque espèce d'arbre.

Dans certains cas, le hachage constitue une alternative raisonnable. à une couche de représentation vectorielle continue.

epoch

Un passage d'entraînement complet sur l'intégralité de l'ensemble d'entraînement de sorte que chaque exemple ait été traité une fois.

Une époque représente N/taille de lot itérations d'entraînement, où N est le le nombre total d'exemples.

Par exemple, supposons les éléments suivants:

• L'ensemble de données comprend 1 000 exemples.
• La taille de lot est de 50 exemples.

Par conséquent, une seule époque nécessite 20 itérations:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

exemple

Les valeurs d'une ligne de features et éventuellement un libellé. Exemples dans l'apprentissage supervisé se divise en deux catégories générales:

• Un exemple étiqueté comprend une ou plusieurs caractéristiques et un libellé. Les exemples étiquetés sont utilisés pendant l'entraînement.
• Un exemple sans étiquette comprend un ou plusieurs plus de caractéristiques, mais pas d'étiquette. Les exemples sans étiquette sont utilisés pendant l'inférence.

Par exemple, supposons que vous entraînez un modèle pour déterminer l'influence sur les conditions météorologiques sur les résultats des élèves. Voici trois exemples étiquetés:

Voici trois exemples sans étiquette:

La ligne d'un ensemble de données est généralement la source brute d'un exemple. C'est-à-dire qu'un exemple se compose généralement d'un sous-ensemble des colonnes dans le jeu de données. De plus, les caractéristiques d'un exemple peuvent aussi inclure : caractéristiques synthétiques telles que croisements de caractéristiques.

F

faux négatif (FN)

Exemple dans lequel le modèle prédit à tort le classe négative. Par exemple, le modèle prédit qu'un e-mail donné n'est pas du spam. (la classe négative), alors que cet e-mail est en réalité du spam.

faux positif (FP) (false positive (FP))

Exemple dans lequel le modèle prédit à tort le classe positive. Par exemple, le modèle prédit qu'un e-mail donné est considéré comme du spam (classe positive), mais que l'e-mail n'est en réalité pas un spam.

taux de faux positifs (TFP)

Proportion d'exemples négatifs réels pour lesquels le modèle se trompe a prédit la classe positive. La formule suivante calcule la valeur taux de positifs:

Le taux de faux positifs correspond à l'axe des abscisses d'une courbe ROC.

fonctionnalité

Variable d'entrée d'un modèle de machine learning. Exemple comprend une ou plusieurs caractéristiques. Par exemple, supposons que vous entraîniez un pour déterminer l'influence des conditions météorologiques sur les résultats des élèves aux tests. Le tableau suivant présente trois exemples, chacun contenant trois caractéristiques et une étiquette:

À comparer au libellé.

croisement de caractéristiques

Caractéristique synthétique formée par un "croisement" catégorielles ou divisées.

Prenons l'exemple d'une "prévision de l'humeur" qui représente température dans l'un des quatre buckets suivants:

• freezing
• chilly
• temperate
• warm

Elle représente la vitesse du vent dans l'un des trois segments suivants:

• still
• light
• windy

Sans croisements de caractéristiques, le modèle linéaire est entraîné indépendamment sur chacune des qui précède sept buckets différents. Le modèle est entraîné, par exemple, freezing indépendamment de l'entraînement windy

Vous pouvez aussi créer un croisement de caractéristiques de température la vitesse du vent. Cette caractéristique synthétique aurait les 12 possibilités suivantes : :

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Grâce aux croisements de caractéristiques, le modèle peut apprendre les différences d'humeur entre un jour de freezing-windy et un jour de freezing-still.

Si vous créez une caractéristique synthétique à partir de deux caractéristiques ayant chacune de nombreuses d'ensembles différents, le croisement de caractéristiques résultant de combinaisons possibles. Par exemple, si une caractéristique comporte 1 000 buckets l'autre comporte 2 000 buckets, le croisement de caractéristiques obtenu comporte 2 000 000 Cloud Storage.

Officiellement, une croix est une Produit cartésien.

Les croisements de caractéristiques sont principalement utilisés avec les modèles linéaires et sont rarement utilisés avec les réseaux de neurones.

l'ingénierie des caractéristiques.

Un processus qui comprend les étapes suivantes:

1. Déterminer les fonctionnalités qui pourraient être utiles lors de l'entraînement d'un modèle.
2. Conversion des données brutes de l'ensemble de données en versions efficaces ces caractéristiques.

Par exemple, vous pouvez déterminer que temperature peut être utile . Vous pouvez ensuite tester le binning afin d'optimiser ce que le modèle peut apprendre à partir des différentes plages temperature.

L'ingénierie des caractéristiques est parfois appelée extraction de caractéristiques ou featurization.

ensemble de caractéristiques

Groupe des caractéristiques que votre modèle de machine learning pour l'entraînement du modèle. Par exemple, le code postal, la taille et l'état du bien peuvent comprend un ensemble de caractéristiques simple pour un modèle qui prédit le prix des logements.

vecteur de caractéristiques

Tableau de valeurs de caractéristiques comprenant un exemple. L'entrée du vecteur de caractéristiques entraînement et pendant l'inférence. Par exemple, le vecteur de caractéristiques d'un modèle comportant deux caractéristiques distinctes pourrait être:

[0.92, 0.56]

Chaque exemple fournit des valeurs différentes pour le vecteur de caractéristiques. pour l'exemple suivant, le vecteur de caractéristiques pourrait ressembler à ceci:

[0.73, 0.49]

L'ingénierie des caractéristiques détermine comment représenter dans le vecteur de caractéristiques. Par exemple, une caractéristique catégorielle binaire avec cinq valeurs possibles peuvent être représentées par encodage one-hot. Dans ce cas, la partie le vecteur de caractéristiques pour un exemple particulier se compose de quatre zéros et un seul 1.0 en troisième position, comme suit:

[0.0, 0.0, 1.0, 0.0, 0.0]

Autre exemple : supposons que votre modèle se compose de trois caractéristiques :

• une caractéristique catégorielle binaire avec cinq valeurs possibles représentées par encodage one-hot Exemple: [0.0, 1.0, 0.0, 0.0, 0.0]
• une autre caractéristique catégorielle binaire avec trois valeurs possibles représentées avec encodage one-hot, Exemple: [0.0, 0.0, 1.0]
• une caractéristique à virgule flottante, Exemple: 8.3.

Dans ce cas, le vecteur de caractéristiques de chaque exemple serait représenté par neuf valeurs. Compte tenu des exemples de valeurs de la liste précédente, le vecteur de caractéristiques serait:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

boucle de rétroaction

En machine learning, une situation dans laquelle les prédictions d'un modèle influencent pour le même modèle ou un autre modèle. Par exemple, un modèle recommande des films influencer les films que les gens regardent, qui ensuite influencent les modèles de recommandation de films suivants.

G

généralisation

La capacité d'un modèle à effectuer des prédictions correctes sur de nouvelles des données inconnues. Un modèle qui peut généraliser est l'inverse d'un modèle en surapprentissage.

courbe de généralisation

Graphique représentant la perte d'entraînement et perte de validation en tant que fonction du nombre de itérations.

Une courbe de généralisation peut vous aider à détecter surapprentissage. Par exemple : la courbe de généralisation suggère un surapprentissage, car la perte de validation devient finalement significativement plus élevée que la perte d'entraînement.

descente de gradient

Technique mathématique permettant de minimiser la perte. La descente de gradient s'ajuste de façon itérative. les pondérations et les biais, trouver progressivement la meilleure combinaison pour minimiser la perte.

La descente de gradient est beaucoup plus ancienne que le machine learning.

vérité terrain

La réalité.

Ce qui s'est passé réellement.

Prenons l'exemple d'une classification binaire. qui prédit si un étudiant en première année d'université obtiendra son diplôme dans les six ans. Pour ce modèle, la vérité terrain est de savoir si pas qu’un étudiant ait réellement obtenu son diplôme dans les six ans.

H

couche cachée

Couche d'un réseau de neurones entre les couche d'entrée (les caractéristiques) et couche de sortie (la prédiction). Chaque couche cachée se compose d'un ou de plusieurs neurones. Par exemple, le réseau de neurones suivant contient deux couches cachées : le premier avec trois neurones et le second avec deux.

Un réseau de neurones profond contient plusieurs couche cachée. Par exemple, l'illustration précédente montre un schéma neuronal profond car il contient deux couches cachées.

hyperparamètre

Les variables que vous ou un service de réglage lors des exécutions successives de l'entraînement d'un modèle. Par exemple : Le taux d'apprentissage est un hyperparamètre. Vous pourriez définir le taux d'apprentissage sur 0,01 avant une session d'entraînement. Si vous et que 0,01 est trop élevé, vous pouvez définir la valeur d'apprentissage à 0,003 pour la prochaine session de formation.

En revanche, les paramètres sont les différents pondérations et biais que le modèle apprend pendant l'entraînement.

I

variables indépendantes et identiquement distribuées (i.i.d)

Données tirées d'une distribution qui ne change pas, et où chaque valeur ne dépend pas des valeurs qui ont été dessinées précédemment. Une variable iid. est le gaz idéal de machine learning d'apprentissage : il s'agit d'une construction mathématique utile qui n'a quasiment jamais été trouvée dans le monde réel. Par exemple, la répartition des visiteurs d'une page Web peuvent être des variables iid. sur une courte période de temps ; c'est-à-dire que la distribution pendant cette courte période, alors que la visite d'une personne indépendamment de la visite d'un autre utilisateur. Cependant, si vous étendez cette période, des différences saisonnières au niveau des visiteurs de la page Web peuvent apparaître.

Voir aussi nonstationarité.

inférence

Dans le machine learning, le processus de réalisation de prédictions Application d'un modèle entraîné à des exemples sans étiquette

En statistique, l'inférence a une signification légèrement différente. Consultez le <ph type="x-smartling-placeholder"></ph> Article Wikipédia sur l'inférence statistique.

couche d'entrée

La couche d'un réseau de neurones contient le vecteur de caractéristiques. Autrement dit, la couche d'entrée fournit des exemples pour l'entraînement ou inférence. Par exemple, la couche d'entrée dans l'exemple Le réseau de neurones présente deux caractéristiques:

interprétabilité

Capacité à expliquer ou à présenter le raisonnement d'un modèle de ML des termes compréhensibles pour un humain.

La plupart des modèles de régression linéaire, par exemple, sont fortement et interprétables. Il vous suffit d'examiner les pondérations entraînées pour chaque feature.) Les forêts de décision sont également hautement interprétables. Cependant, certains modèles nécessitent une visualisation sophistiquée pour devenir interprétable.

Vous pouvez utiliser Learning Interpretability Tool (LIT) pour interpréter des modèles de ML.

itération

Mise à jour unique des paramètres d'un modèle : ses pondérations et biais, formation. La taille de lot détermine le nombre d'exemples traités par le modèle au cours d'une seule itération. Par exemple, si la taille de lot est de 20, le modèle traite alors 20 exemples avant ajuster les paramètres.

Lors de l'entraînement d'un réseau de neurones, une seule itération implique les deux passes suivantes:

1. Une propagation avant pour évaluer la perte d'un seul lot.
2. Une rétropropagation (rétropropagation) pour ajuster le paramètre les paramètres du modèle en fonction de la perte et du taux d'apprentissage.

L

Régularisation L₀

Type de régularisation qui pénalise le nombre total de pondérations non nulles ; dans un modèle. Par exemple, un modèle avec 11 pondérations non nulles serait pénalisé plus cher qu'un modèle similaire ayant 10 paires de pondérations non nulles.

La régularisation L₀ est parfois appelée régularisation L0.

perte L₁

Une fonction de perte qui calcule la valeur absolue de la différence entre les valeurs d'étiquette réelles et les valeurs prédites par un modèle. Par exemple, voici la calcul de la perte L₁ pour un lot de cinq exemples:

La perte L₁ est moins sensible aux anomalies. que la perte L₂.

L'erreur absolue moyenne correspond à la moyenne perte L₁ par exemple.

Régularisation L₁

Type de régularisation qui pénalise pondérations proportionnellement à la somme de la valeur absolue de les pondérations. La régularisation L₁ permet de pondérer des données non pertinentes ou les caractéristiques peu pertinentes à exactement 0. Une fonctionnalité avec une pondération de 0 est effectivement retirée du modèle.

À comparer à la régularisation L₂.

perte L₂

Une fonction de perte permettant de calculer le carré de la différence entre les valeurs d'étiquette réelles et les valeurs prédites par un modèle. Par exemple, voici la calcul de la perte L₂ pour un lot de cinq exemples:

En raison de la mise au carré, la perte L₂ amplifie l'influence de anomalies. En d'autres termes, la perte L₂ réagit plus fortement aux mauvaises prédictions Perte L₁. Par exemple, la perte L₁ pour le lot précédent correspondrait à 8 au lieu de 16. Notez qu'un seul les anomalies représentent 9 sur 16.

Les modèles de régression utilisent généralement la perte L₂. que la fonction de perte.

L'erreur quadratique moyenne correspond à la moyenne perte L₂ par exemple. La perte quadratique est un autre nom de la perte L₂.

Régularisation L₂

Type de régularisation qui pénalise pondérations proportionnellement à la somme des carrés des pondérations. La régularisation L₂ permet de générer les pondérations des anomalies (c'est-à-dire avec des valeurs positives ou négatives élevées) plus proches de 0, mais pas tout à fait égales à 0. Les caractéristiques dont les valeurs sont très proches de 0 restent dans le modèle mais n'influencent pas beaucoup la prédiction du modèle.

La régularisation L₂ améliore toujours la généralisation modèles linéaires.

À comparer à la régularisation L₁.

étiquette

En machine learning supervisé, "réponds" ou "résultat" partie d'un exemple.

Chaque exemple étiqueté se compose d'un ou de plusieurs caractéristiques et une étiquette. Par exemple, dans un dossier de spam l'ensemble de données de détection, l'étiquette serait probablement "spam" ou "non-spam". Dans un ensemble de données sur les précipitations, l'étiquette peut être la quantité qui est tombée pendant une certaine période.

exemple étiqueté

Exemple contenant une ou plusieurs caractéristiques et une étiquette. Par exemple, le tableau suivant présente trois exemples étiquetés issus d'un modèle d'évaluation des maisons, chacun présentant trois caractéristiques et une étiquette:

En machine learning supervisé, les modèles sont entraînés à partir d'exemples étiquetés et effectuent des prédictions exemples sans étiquette.

Comparer l'exemple étiqueté et les exemples sans étiquette.

lambda

Synonyme de taux de régularisation.

Lambda est un terme complexe. Ici, nous nous concentrons définition dans le cadre de la régularisation.

cachée)

Ensemble de neurones dans un réseau de neurones. Trois types courants de couches sont les suivantes:

• La couche d'entrée, qui fournit les valeurs de toutes les fonctionnalités.
• Une ou plusieurs couches cachées, qui permettent de retrouver des relations non linéaires entre les caractéristiques et l'étiquette.
• La couche de sortie, qui fournit la prédiction.

Par exemple, l'illustration suivante montre un réseau de neurones avec une couche d'entrée, deux couches cachées et une couche de sortie:

Dans TensorFlow, les couches sont également des fonctions Python qui prennent Tensors et options de configuration en tant qu'entrées et et générer d'autres Tensors en sortie.

taux d'apprentissage

Nombre à virgule flottante qui indique la descente de gradient à quel point l'algorithme doit ajuster les pondérations et les biais itération. Par exemple, un taux d'apprentissage de 0,3 ajuster les pondérations et les biais trois fois plus efficacement qu'un taux d'apprentissage de 0,1.

Le taux d'apprentissage est un hyperparamètre clé. Si vous définissez le taux d'apprentissage est trop faible, l'entraînement prendra trop de temps. Si si vous définissez un taux d'apprentissage trop élevé, la descente de gradient rencontre souvent des difficultés et atteindre la convergence.

linear

Relation entre deux ou plusieurs variables qui peuvent être représentées uniquement par l'addition et la multiplication.

Le tracé d'une relation linéaire est une droite.

À comparer à l'nonlinear.

modèle linéaire

Un modèle qui attribue une pondération par fonctionnalité pour effectuer des prédictions. (Les modèles linéaires intègrent également un biais.) En revanche, la relation entre les caractéristiques et les prédictions dans les modèles profonds ; est généralement nonlinear.

Les modèles linéaires sont généralement plus faciles à entraîner et plus interprétables que les modèles profonds. Toutefois, les modèles profonds peuvent apprendre des relations complexes entre caractéristiques.

Régression linéaire et La régression logistique est deux types de modèles linéaires.

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

régression linéaire

Type de modèle de machine learning dans lequel les deux conditions suivantes sont remplies:

• Il s'agit d'un modèle linéaire.
• La prédiction est une valeur à virgule flottante. Il s'agit de la régression de la régression linéaire.)

Comparer la régression linéaire à la régression logistique. Vous devez aussi comparer la régression à la classification.

régression logistique

Type de modèle de régression qui prédit une probabilité. Les modèles de régression logistique présentent les caractéristiques suivantes:

• L'étiquette est catégorielle. Le terme logistique La régression désigne généralement la régression logistique binaire, à un modèle qui calcule les probabilités d'étiquettes avec deux valeurs possibles. Une variante moins courante, la régression logistique multinomiale, calcule probabilités pour les étiquettes ayant plus de deux valeurs possibles.
• La fonction de perte pendant l'entraînement est la perte logistique. (Plusieurs unités de perte logistique peuvent être placées en parallèle pour les étiquettes avec plus de deux valeurs possibles.)
• Le modèle est doté d'une architecture linéaire et non d'un réseau de neurones profond. Cependant, le reste de cette définition s'applique également modèles profonds qui prédisent des probabilités pour les étiquettes catégorielles.

Prenons l'exemple d'un modèle de régression logistique qui calcule le la probabilité qu'un e-mail d'entrée soit un spam ou non. Pendant l'inférence, supposons que le modèle prédit 0,72. Par conséquent, le est en train d'estimer:

• Une probabilité que l'e-mail soit du spam est de 72 %.
• Une probabilité de 28% que l'e-mail ne soit pas un spam

Un modèle de régression logistique utilise l'architecture en deux étapes suivante:

1. Le modèle génère une prédiction brute (y') en appliquant une fonction linéaire de caractéristiques d'entrée.
2. Le modèle utilise cette prédiction brute comme entrée d'une fonction sigmoïde, qui convertit les valeurs la prédiction sur une valeur comprise entre 0 et 1 (exclus).

Comme tout modèle de régression, un modèle de régression logistique prédit un nombre. Cependant, ce nombre fait généralement partie d'une classification binaire comme suit:

• Si le nombre prédit est supérieur à la valeur seuil de classification, le le modèle de classification binaire prédit la classe positive.
• Si le nombre prédit est inférieur au seuil de classification, le modèle de classification binaire prédit la classe négative.

Perte logistique

La fonction de perte utilisée en binaire régression logistique.

logarithme de cote

Logarithme des cotes d'un événement donné.

perte

Au cours de l'entraînement d'un modèle supervisé, qui mesure la prédiction du modèle provient de son étiquette.

La fonction de perte calcule la perte.

courbe de fonction de perte

Tracé de la perte en tant que fonction du nombre d'entraînements itérations. Le graphique suivant montre une perte typique à la courbe:

Les courbes de fonction de perte vous aident à déterminer convergence ou surapprentissage.

Les courbes de fonction de perte permettent de représenter tous les types de perte suivants:

• perte d'entraînement
• perte de validation
• perte d'évaluation

Voir aussi Courbe de généralisation.

fonction de perte

Pendant l'entraînement ou les tests, un fonction mathématique qui calcule sur un lot d'exemples. Une fonction de perte renvoie une perte plus faible pour les modèles qui réalisent de bonnes prédictions de mauvaises prédictions.

L'objectif de l'entraînement est généralement de minimiser la perte qu'une fonction de perte .

Il existe de nombreux types de fonctions de perte différents. Choisir la perte appropriée pour le type de modèle que vous créez. Exemple :

• perte L₂ (ou erreur quadratique moyenne) est la fonction de perte pour la régression linéaire.
• Perte logistique est la fonction de perte pour régression logistique.

  f(x, y) = 3x -5xy + y2 + 17

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

[1.2, 2.5, 1.8]

24

My dog is a great dog

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0