Quando un bambino nasce, richiede un certo tempo per sviluppare la capacità di parlare e di capire. I bambini imparano solo la lingua che le persone che li circondano parlano. Gli esseri umani possono imparare rapidamente le lingue da soli, ma i computer non possono fare lo stesso. Per esempio, si può facilmente capire la differenza tra gatto e cane, uomo e donna, e così via.
Questo accade perché le nostre reti neurali sono diverse dalle reti neurali artificiali che le macchine hanno. I computer imparano le lingue in modo diverso dagli esseri umani. Usano tecniche di incorporazione di parole per capire il linguaggio degli esseri umani.

Che cos’è il Word Embedding?

La semplice definizione di word embedding è la conversione di testo in numeri. Per far sì che il computer capisca il linguaggio, convertiamo il testo in forma vettoriale in modo che i computer possano sviluppare connessioni tra i vettori e le parole e capire ciò che diciamo. Con il word embedding, risolviamo i problemi relativi al Natural Language Processing.

Capire la PNL

L’elaborazione del linguaggio naturale aiuta le macchine a capire e a sviluppare la capacità di scrivere, leggere e ascoltare ciò che diciamo. Google, DuckDuckGo e molti altri browser utilizzano la PNL per ridurre le barriere linguistiche tra gli esseri umani e le macchine. Inoltre, Microsoft Word e Google Translate sono applicazioni PNL.

Algoritmi di Word Embedding

L’incorporazione di parole è una rappresentazione vettoriale e richiede tecniche di apprendimento automatico e algoritmi. Questi algoritmi fanno uso di reti neurali artificiali e dati per generare le connessioni di parole diverse. Per esempio, se un modello sta imparando le parole “Re” e “Regina”, la forma vettoriale sarà in relazione tra loro. Questo aiuta la macchina a differenziare ma a mettere in relazione entrambe le parole. Qui di seguito comprenderemo tre algoritmi comuni che si possono usare nell’apprendimento automatico per l’incorporazione delle parole.

1. Parola2Vec

Word2Vec è l’algoritmo più popolare per l’incorporazione di parole. Questo algoritmo utilizza reti neurali per imparare l’embedding in modo più efficiente. Questo algoritmo è in realtà una serie di algoritmi. È possibile utilizzare questi algoritmi per i compiti di PNL. Word2Vec utilizza solo uno strato nascosto e lo collega con la rete neurale. Tutti i neuroni lineari sono gli strati nascosti nei neuroni. Per addestrare il modello, lo strato di input includerà il numero di neuroni pari alle parole del vocabolario. La dimensione dello strato di uscita e dello strato di ingresso rimane la stessa. Tuttavia, la dimensione dello strato nascosto è impostata in base ai vettori delle dimensioni delle parole risultanti. È possibile eseguire l’incorporazione di parole con Word2Vec attraverso due metodi. In entrambi i metodi sono necessarie reti neurali artificiali. Questi metodi sono:

– CBOW o Common Bag of Words

In questo metodo, ogni parola è un input, e la rete neurale prevede la parola che si riferisce al contesto. Per esempio, “Sto andando a casa su un autobus”. In questo esempio, inseriremo la parola bus nella rete neurale con il contesto per andare o tornare a casa. Poi la macchina genererà un vettore che connette “viaggiando verso casa” con l’autobus rappresentato come fonte del viaggio.

– Scrematura Grammo

Skim Gram usa lo stesso trucco che usa un comune sacchetto di parole o qualsiasi altro algoritmo di apprendimento automatico. Poiché abbiamo parole senza etichetta, l’incorporazione della parola è essenzialmente un apprendimento semi-supervisionato. In questo metodo, l’algoritmo usa parole vicine e le etichetta di conseguenza.

2. GloVe

L’algoritmo Global Vectors for Word Representation o GloVe è abbastanza simile a Word2Vec. Tuttavia, il metodo è un po’ diverso. GloVe considera le informazioni contestuali solo sulla base di 1-1. Ciò significa che GloVe crea solo una matrice relativa alla parola per parola, che include la probabilità P (a | b) di visualizzare la parola k intorno alla parola b.
Lo scopo principale di questa tecnica è quello di trovare la rappresentazione dei due vettori in modo da generare la probabilità di log dei loro prodotti puntiformi pari alla co-occorrenza. Essi hanno grandi risultati per mettere in relazione le parole nel contesto l’una con l’altra.

3. Strato di incorporazione

Questo è il primo strato nascosto della rete neurale artificiale. Questo strato dovrebbe specificare tre potenziamenti.
Ingresso dim
Rappresenta la dimensione del vocabolario nei dati del testo. Ad esempio, se si dispone di dati con codifica intera e valori da 0 a 10, la dimensione del vocabolario sarebbe 11.
Uscita dim
Rappresentano la dimensione dello spazio vettoriale. Lo spazio vettoriale sarebbe delle parole incorporate. Questo può essere 32, 100 o più grande.
Lunghezza di ingresso
Rappresenta la lunghezza delle sequenze di ingresso. Ad esempio, se le parole nei vostri documenti di input sono fino a 1000, anche questo valore sarebbe 1000.

Conclusione

Il Word Embedding è essenziale per l’apprendimento automatico, in quanto aiuta i computer a capire la vostra lingua. Contiene vari algoritmi che elaborano le parole in modo diverso, ma l’obiettivo principale è quello di aiutare la macchina ad imparare le lingue. I computer non possono capire ciò che chiediamo. Invece, per ogni parola, i computer sono codificati con una rappresentazione vettoriale che si riferisce ad altre parole a seconda del contesto.