Diminuzione della dimensionalità

Nella remota possibilità di aver già lavorato con un set di dati con molti punti salienti, è possibile comprendere che è così difficile comprendere o indagare le connessioni tra i punti salienti. Ciò rende la procedura EDA fastidiosa e influenza la presentazione del modello di IA, poiché le probabilità sono che si possa sovradimensionare il modello o danneggiare una parte dei sospetti del calcolo, in modo simile all’autonomia dei punti salienti in una ricaduta diretta. Questo è il luogo in cui la diminuzione della dimensionalità entra in gioco. In AI, la diminuzione della dimensionalità è il modo per diminuire il numero di fattori irregolari possibili ottenendo un sacco di fattori di testa. Diminuendo la componente dello spazio dell’elemento, si hanno meno connessioni tra le evidenziazioni a cui pensare, che possono essere indagate e fotografate in modo efficace e inoltre si è più contrari all’overfit del proprio modello.

La riduzione della dimensionalità può essere realizzata con le modalità che la accompagnano:

Evidenziare Fine: Si riduce lo spazio dell’elemento facendo a meno dei punti salienti. Questo ha un peso, tuttavia, poiché non si ottengono dati da quelle evidenziazioni che sono state eliminate.

Evidenziare la determinazione: Applicate alcuni test fattuali in modo da classificarli in base al loro significato e successivamente selezionate un sottoinsieme di punti salienti per il vostro lavoro. Anche in questo caso, i dati non sono soddisfacenti e sono meno stabili, in quanto i vari test danno ai punti salienti un punteggio di significato diverso. Potete verificare di più su questo aspetto qui.

Evidenziare l’estrazione: Si creano nuovi punti salienti gratuiti, dove ogni nuovo componente autonomo è una miscela di tutti i vecchi punti salienti autonomi. Questi sistemi possono essere ulteriormente separati in procedure di riduzione della dimensionalità diretta e non diretta.

Testare l’indagine sulle parti di ricambio (PCA)

La Head Part Investigation o PCA è una strategia di estrazione dei componenti. Svolge una mappatura diretta delle informazioni in uno spazio a bassa dimensione in modo da aumentare la fluttuazione delle informazioni nella rappresentazione a bassa dimensione. Lo fa in quanto tale, calcolando gli autovelox dalla struttura di covarianza. Gli autovelox che si riferiscono agli autovalori più grandi (le parti più importanti) sono utilizzati per ricreare una parte degna di nota della differenza della prima informazione.

In termini più semplici, PCA consolida le vostre informazioni include con un certo obiettivo in mente che è possibile eliminare la componente meno significativa, pur mantenendo i pezzi più importanti dell’insieme dei punti salienti. Come ulteriore vantaggio, ognuno dei nuovi punti salienti o segmenti realizzati dopo il PCA sono nel complesso autonomi l’uno dall’altro.

t-Dispersed Stochastic Neighbor Implanting (t-SNE)

t-Dispersed Stochastic Neighbor Implanting (t-SNE) è una strategia non diretta per la riduzione della dimensionalità che è particolarmente appropriata per la percezione di set di dati ad alta dimensione. È ampiamente applicata nella gestione delle immagini, nella PNL, nelle informazioni genomiche e nella preparazione dei discorsi. Per mantenere le cose semplici, ecco un breve diagramma di funzionamento di t-SNE:

I calcoli iniziano calcolando la probabilità di vicinanza dei fuochi nello spazio ad alta dimensione e accertando la probabilità di comparabilità dei fuochi nello spazio a bassa dimensione relativo. La vicinanza dei fuochi è determinata come la probabilità contingente che un punto A scelga il punto B come suo vicino se i vicini sono stati scelti in relazione al loro spessore di probabilità sotto un gaussiano (disseminazione tipica) focalizzato ad A.

A quel punto cerca di limitare il contrasto tra queste probabilità restrittive (o similitudini) nello spazio più alto e in quello più basso per una rappresentazione ideale dell’informazione che si concentra nello spazio più basso.

Per quantificare la minimizzazione dell’aggregato della distinzione della probabilità contingente t-SNE limita il totale della disparità di Kullback-Leibler di informazioni in generale si concentra sull’utilizzo di una strategia di piombino angolare.

Si noti che la differenza Kullback-Leibler o l’unicità di KL è una proporzione di come una dispersione di probabilità devia da una seconda, anticipata appropriazione di probabilità.

Le persone che desiderano conoscere il lavoro punto per punto di un calcolo possono alludere a questo documento d’esame.

In termini più semplici, t-Disseminated stochastic neighbor implanting (t-SNE) limita la differenza tra due stanziamenti: un convogliamento che misura le somiglianze tra gli oggetti informativi e una circolazione che misura le somiglianze tra gli oggetti a confronto a coppie.

In questo modo, t-SNE mappa le informazioni multidimensionali in uno spazio di dimensioni inferiori e si sforza di scoprire i disegni nelle informazioni distinguendo i grappoli osservati in base alla vicinanza delle informazioni che si concentrano sui diversi punti salienti. In ogni caso, dopo questa procedura, le evidenziazioni delle informazioni non sono mai più riconoscibili, e non è possibile far dipendere qualsiasi derivazione dalla resa di t-SNE. D’ora in poi è, per la maggior parte, un metodo di indagine e rappresentazione delle informazioni.

PCA contro t-SNE

Anche se sia PCA che t-SNE hanno le loro preferenze e i loro oneri, si possono notare alcuni contrasti fondamentali tra PCA e t-SNE come inseguimenti:

t-SNE è costoso dal punto di vista dei calcoli e può richiedere alcune ore su milioni di set di dati di esempio in cui il PCA si completa subito o in pochi minuti.

La PCA è una procedura numerica, tuttavia, t-SNE è una procedura probabilistica.

I calcoli di riduzione della dimensionalità rettilinea, come il PCA, si concentrano sull’impostazione di informazioni uniche focalizzate in una rappresentazione di misura inferiore. Sia come sia, in modo da parlare alle informazioni di misurazione alte su misurazioni basse, complesse non rettilinee, è fondamentale che le informazioni comparative dei focus devono essere parlate l’una vicino all’altra, che è qualcosa che t-SNE non fa PCA.

Alcuni dei tempi in t-SNE varie esecuzioni con iperparametri simili possono fornire vari risultati e di conseguenza si devono vedere diverse trame prima di fare qualsiasi valutazione con t-SNE, mentre questa non è la situazione con PCA.

Poiché il PCA è un calcolo rettilineo, non avrà la possibilità di decifrare l’intricata connessione polinomiale tra le evidenziazioni, mentre t-SNE è fatto per catturare proprio questo.