Coursera Learner working on a presentation with Coursera logo and
Coursera Learner working on a presentation with Coursera logo and

Diminution de la dimensionnalité

Si par hasard vous avez déjà travaillé avec un ensemble de données comportant beaucoup de points forts, vous pouvez comprendre qu’il est si difficile de comprendre ou d’étudier les liens entre les points forts. Cela rend la procédure de l’AED problématique et influence la présentation du modèle d’IA, car il y a de fortes chances que vous surajustiez votre modèle ou que vous endommagiez une partie des soupçons du calcul, comme c’est le cas pour l’autonomie des points saillants en cas de rechute directe. C’est là que la diminution de la dimensionnalité entre en jeu. Dans l’IA, la diminution de la dimensionnalité est le moyen de réduire le nombre de facteurs irréguliers viables en obtenant beaucoup de facteurs de tête. En diminuant la composante de l’espace de vos éléments, vous avez moins de connexions entre les mèches à prendre en compte, qui peuvent être étudiées et représentées efficacement, et en outre vous êtes plus réticent à surdimensionner votre modèle.

La diminution de la dimensionnalité peut être réalisée de la manière suivante :

Souligner la fin : Vous réduisez l’espace entre les éléments en vous passant des surlignages. Cela a cependant un inconvénient, car vous n’obtenez pas de données à partir de ces surlignages que vous avez supprimés.

Mettre en évidence la détermination : Vous appliquez quelques tests factuels afin de les classer en fonction de leur importance et vous sélectionnez ensuite un sous-ensemble de points forts pour votre travail. Là encore, les données sont malheureuses et moins stables, car les différents tests donnent des scores de signification différents aux points forts. Vous pouvez en savoir plus à ce sujet en cliquant ici.

Souligner l’extraction : Vous créez de nouveaux highlights gratuits, où chaque nouveau composant autonome est un mélange de chacun des anciens highlights autonomes. Ces systèmes peuvent en outre être séparés en procédures de diminution de dimensionnalité directe et non directe.

Enquête sur la partie principale (PCA)

L’enquête sur la partie principale ou PCA est une stratégie d’extraction de la composante directe. Elle consiste en un mappage direct de l’information dans un espace à plus faible dimension, de sorte que la fluctuation de l’information dans la représentation à faible dimension est augmentée. Pour ce faire, elle utilise les vecteurs propres du cadre de covariance. Les vecteurs propres qui se rapportent aux plus grandes valeurs propres (les parties les plus importantes) sont utilisés pour recréer une partie notable de la différence de la première information.

En termes plus simples, l’ACP consolide vos includes d’information dans le but de vous permettre de supprimer la composante la moins importante tout en conservant les éléments les plus importants de l’ensemble des points saillants. En outre, chacun des nouveaux faits saillants ou segments réalisés après l’ACP sont dans l’ensemble autonomes les uns des autres.

Implantation de voisins stochastiques dispersés (t-SNE)

L’implantation de voisins stochastiques dispersés (t-SNE) est une stratégie non directe de diminution de la dimensionnalité qui est particulièrement appropriée pour la perception d’ensembles de données à haute dimension. Elle est largement appliquée dans le traitement des images, la PNL, l’information génomique et la préparation du discours. Pour que les choses restent simples, voici un diagramme concis du fonctionnement de l’ESN-T :

Les calculs commencent par la détermination de la probabilité de proximité des foyers dans l’espace à haute dimension et la détermination de la probabilité de comparabilité des foyers dans l’espace à basse dimension correspondant. La proximité des foyers est déterminée comme la probabilité contingente qu’un point A choisisse le point B comme voisin si les voisins sont choisis en fonction de leur épaisseur de probabilité sous une gaussienne (diffusion typique) centrée sur A.

Elle tente alors de limiter le contraste entre ces probabilités restrictives (ou similitudes) dans l’espace à plus haute et à plus basse dimension pour une représentation idéale des informations qui se concentrent dans l’espace à plus basse dimension.

Pour quantifier la minimisation de l’agrégat de la distinction de la probabilité contingente t-SNE limite le total de la disparité de Kullback-Leibler de en informations générales se concentre sur l’utilisation d’une stratégie de chute d’angle.

Notez que la différence Kullback-Leibler ou l’unicité de KL est une proportion de la façon dont une dispersion de probabilité s’écarte d’une seconde appropriation de probabilité anticipée.

Les personnes désireuses de connaître le fonctionnement point par point d’un calcul peuvent faire allusion à cet examen.

En termes plus simples, l’implantation stochastique voisine diffusée (t-SNE) limite la différence entre deux appropriations : une transmission qui mesure les similitudes par paires des objets d’information et une circulation qui mesure les similitudes par paires des foyers de comparaison en basse dimension dans l’installation.

Ainsi, l’ENT fait correspondre les informations multidimensionnelles à un espace plus restreint et s’efforce de découvrir des dessins dans les informations en distinguant les groupes surveillés en fonction de la proximité des informations qui se concentrent sur différents points forts. Dans tous les cas, après cette procédure, les points forts des informations ne sont plus jamais reconnaissables, et vous ne pouvez faire aucun calcul dépendant du rendement de l’END-T. Il s’agit désormais, pour l’essentiel, d’une méthode d’investigation et de représentation des informations.

APC contre t-SNE

Bien que l’APC et l’ESN-T aient leurs propres préférences et charges, on peut noter certains contrastes importants entre l’APC et l’ESN-T en matière de poursuite :

L’END-T est coûteux en termes de calcul et peut prendre quelques heures pour des millions d’exemples de données, alors que l’ACP ne prend que quelques minutes.

L’ACP est une procédure numérique, mais l’END-T est une procédure probabiliste.

Les calculs de diminution de la dimensionnalité droite, comme l’ACP, se concentrent sur la mise en place de foyers d’information uniques très éloignés les uns des autres dans un portrait de mesure inférieur. Quoi qu’il en soit, pour parler d’informations de haute dimension sur des complexes de basse dimension, non rectilignes, il est fondamental que les foyers d’informations comparatives soient parlés à proximité les uns des autres, ce qui est quelque chose que l’ENT ne fait pas dans le cadre de l’ACP.

Parfois, dans l’END-T, plusieurs passages avec des hyperparamètres similaires peuvent donner des résultats différents. Par conséquent, il faut voir des tracés différents avant de faire une évaluation avec l’END-T, alors que ce n’est pas le cas avec l’ACP.

Comme l’ACP est un calcul direct, elle n’aura pas la possibilité de déchiffrer la connexion polynomiale complexe entre les hautes lumières alors que l’ENT est faite pour saisir précisément cela.

Langages

Weekly newsletter

No spam. Just the latest releases and tips, interesting articles, and exclusive interviews in your inbox every week.