Traduzione automatica in NLP: esempi, flusso e modelli

introduzione

Ci sono oltre 6.500 lingue riconosciute nel mondo. Si sente il bisogno del tempo per comprendere la risorsa scritta attraverso le culture. In questo tentativo, molti libri antichi vengono tradotti nelle lingue locali e conservati come riferimento.

Il sanscrito, ad esempio, si dice che l'antica lingua dell'eredità indù contenga informazioni piene di risorse di epoche antiche. Questo perché pochissimi conoscono la lingua sanscrita. È probabile che dipenda da qualche meccanismo per cercare informazioni dalle scritture e dai manoscritti.

Molte volte vogliamo che i computer capiscano il linguaggio naturale. La cosa buona dei computer è che possono calcolare più velocemente di noi umani. Tuttavia, la sfida dell'apprendimento di un linguaggio naturale è molto difficile da replicare su un modello computazionale.

Traduzione automatica

Il termine "traduzione automatica" (MT) si riferisce a sistemi informatici responsabili della produzione di traduzioni con o senza l'assistenza umana. Sono esclusi gli strumenti di traduzione basati su computer che supportano i traduttori fornendo l'accesso a dizionari online, banche dati terminologiche remote, trasmissione e ricezione di testi, ecc.

Prima dell'era della tecnologia AI, sono stati sviluppati programmi per computer per la traduzione automatica di testi da una lingua all'altra. Negli ultimi anni, l'IA è stata incaricata di realizzare la traduzione automatica o automatica della fluidità e versatilità di script, dialetti e variazioni delle lingue umane. La traduzione automatica è impegnativa data l'ambiguità intrinseca e la flessibilità del linguaggio umano.

Cos'è la PNL?

Il Natural Language Processing (NLP) è una delle branche nella diffusione della tecnologia dell'Intelligenza Artificiale (AI). Questa disciplina si occupa della creazione di modelli computazionali che elaborano e comprendono il linguaggio naturale. I modelli NKP essenzialmente fanno capire al computer il raggruppamento semantico di oggetti (ad esempio, le parole "gatto e cane" sono semanticamente abbastanza simili alle parole "gatto e pipistrello"), il testo in parole, il linguaggio di traduzione e così via.

L'elaborazione del linguaggio naturale (NLP) fa sì che il sistema informatico utilizzi, interpreti e comprenda le lingue umane e il linguaggio verbale, come l'inglese, il tedesco o un altro "linguaggio naturale". Oggigiorno si vede nella pratica una gamma di applicazioni NLP.

Sono in genere raggruppati nei rispettivi casi d'uso, come il riconoscimento vocale, i sistemi di dialogo, il recupero delle informazioni, la risposta alle domande e la traduzione automatica hanno iniziato a rimodellare il modo in cui le persone identificano, recuperano e utilizzano la risorsa di informazioni.

Esempi di PNL

• I sistemi di riconoscimento vocale/vocale, o sistemi di interrogazione come Siri, lavorano sulla domanda e restituiscono una risposta. Qui inserisci la voce in un computer e questo comprende il tuo messaggio.
• Programmi per computer che leggono i rapporti finanziari in un inglese semplice e producono numeri (ad esempio, tasso di inflazione).
• Portale del lavoro che recupera i dettagli del candidato e costruisce automaticamente il curriculum e la domanda per il lavoro che corrisponde alle competenze.
• Google Translate elabora il testo nella stringa di input e lo mappa con la lingua per tradurlo al volo.
• I motori di ricerca simili a Google restituiscono i tuoi documenti dopo aver digitato una parola dell'argomento nella casella di ricerca. Ad esempio, quando cerchi Tajmahal, Google ti fornisce documenti contenenti Tajmahal come artefatto e persino un marchio "Tajmahal". Qui vengono presi in considerazione i sinonimi inglesi e i modelli plurali inglesi.

Flusso della PNL

L'elaborazione del linguaggio naturale è una sorta di intelligenza artificiale. Se vuoi creare un programma NLP, puoi iniziare a scrivere regole come "ignora una s alla fine di una parola". Questo è il modo di fare le cose della vecchia scuola e si chiama approccio “basato sulle regole”.

Tuttavia, le tecniche più avanzate utilizzano l'apprendimento statistico, in cui si programma il computer per apprendere schemi in inglese. Se lo fai, potresti persino scrivere il tuo programma una sola volta e addestrarlo a funzionare in molti linguaggi umani.

L'obiettivo della PNL è rendere intelligibili i linguaggi umani in modo che un meccanismo programmato possa interpretare e comprendere i manoscritti. Qui, il meccanismo programmato lo chiamiamo macchina, e il manoscritto è lo script del linguaggio fornito al programma. Il programma informatizzato estrae così i dati linguistici sotto forma di conoscenza digitale.

La macchina, anziché i modelli statistici di apprendimento, trasforma quindi gli attributi della lingua in un approccio statistico basato su regole inteso ad affrontare problemi specifici e svolgere il compito di elaborare la lingua.

In molti sistemi più antichi, in particolare quelli del tipo a "traduzione diretta", le componenti di analisi, trasferimento e sintesi non erano sempre chiaramente separate. Alcuni di essi mischiano anche dati (dizionario e grammatica) e regole e routine di elaborazione.

I nuovi sistemi hanno mostrato vari gradi di modularità, quindi i componenti del sistema, i dati e i programmi possono essere adattati e modificati senza danneggiare l'efficienza complessiva del sistema. Un ulteriore stadio in alcuni sistemi recenti è la reversibilità delle componenti di analisi e sintesi, ovvero i dati e le trasformazioni utilizzati nell'analisi di una particolare lingua vengono applicati al contrario quando si generano testi in quella lingua. Ulteriori informazioni sulle applicazioni dell'elaborazione del linguaggio naturale.

Evoluzione della traduzione automatica

Fino alla fine degli anni '80, durante questa fase è stata condotta una notevole ricerca sulla traduzione automatica, quando sono stati sviluppati i primi sistemi di traduzione automatica statistica (SMT).

Classicamente, per questo compito venivano utilizzati i sistemi basati su regole, successivamente sostituiti negli anni '90 con metodi statistici. Molto di recente, i modelli di rete neurale profonda sono arrivati ​​​​per ottenere risultati all'avanguardia in un campo che è giustamente definito traduzione automatica neurale.

La traduzione automatica statistica ha sostituito i classici sistemi basati su regole con modelli che imparano a tradurre dagli esempi.

I modelli di traduzione automatica neurale si adattano a un unico modello anziché a una pipeline raffinata e attualmente ottengono risultati all'avanguardia. Dall'inizio degli anni 2010, questo campo ha quindi abbandonato in gran parte i metodi statistici per poi passare alle reti neurali per l'apprendimento automatico.

Diversi importanti successi iniziali sui metodi statistici nella PNL sono arrivati ​​​​nella traduzione automatica, destinata a lavorare presso IBM Research. Questi sistemi sono stati in grado di sfruttare gli organi testuali multilingue esistenti prodotti dal parlamento del Canada e dell'UE a seguito di leggi che richiedevano la traduzione di tutti gli atti governativi nelle varie lingue ufficiali dei sistemi governativi corrispondenti.

Tuttavia, molti altri sistemi dipendevano da corpora sviluppati specificamente per le attività implementate da questi sistemi, il che era e continua ad essere una grande restrizione allo sviluppo dei sistemi. Pertanto, è emersa la necessità di una grande quantità di ricerca sui metodi per apprendere efficacemente da dati limitati.

Ad esempio, il termine Neural Machine Translation (NMT) sottolinea che gli approcci alla traduzione automatica basati sull'apprendimento approfondito apprendono direttamente le trasformazioni da sequenza a sequenza, ovviando alla necessità di passaggi intermedi come l'allineamento delle parole e la modellazione linguistica utilizzati nella traduzione automatica statistica (SMT). Google ha iniziato a utilizzare un tale modello in produzione per Google Translate alla fine del 2016.

Modello da sequenza a sequenza

Normalmente, il modello da sequenza a sequenza comprende due parti; primo, un codificatore , e secondo, un decodificatore. Sono due diversi modelli di rete neurale che lavorano mano nella mano come una grande rete.

La parte del decodificatore del modello genera quindi una sequenza mappata nell'output. Il decodificatore crittografa la stringa e aggiunge significato alla sequenza nella rappresentazione. Un approccio codificatore-decodificatore, per la traduzione automatica neurale, codifica l'intera stringa di input di una frase in un vettore di lunghezza finita da cui viene decodificata la traduzione.

In generale, la funzione di una rete di codificatori è quella di leggere e analizzare la sequenza di input per dare un significato e quindi generare una rappresentazione di piccole dimensioni della stringa di input. Il modello inoltra quindi questa rappresentazione alla rete del decodificatore.

L' encoder – decoder LSTM è una rete neurale ricorrente progettata per affrontare problemi da sequenza a sequenza, talvolta chiamati seq2seq. La memoria a breve termine (LSTM) è un'architettura di rete neurale ricorrente artificiale (RNN) utilizzata nell'apprendimento profondo.

Ad esempio, quando la stringa nella sequenza di input è "What is this place", dopo che questa sequenza di input è stata analizzata attraverso la rete codificatore-decodificatore, sintetizza la stringa utilizzando i blocchi LSTM (un tipo di architettura RNN). Il decoder quindi genera parole nella sequenza in ogni fase dell'iterazione del decoder.

Dopo il ciclo totale dell'iterazione, viene costruita la sequenza di output, dì qualcosa come "Questo posto è Pune". La rete LSTM è resa idonea a classificare in base alle regole, analizzare per elaborare l'input e fare previsioni utilizzando gli esempi di dati addestrati.

Modello di attenzione

Modello “Attention”, che ha notevolmente migliorato la qualità dei sistemi di traduzione automatica. L'attenzione consente al modello di concentrarsi sulle parti rilevanti della sequenza di input secondo necessità.

Un modello di attenzione differisce da un modello classico da sequenza a sequenza in due modi principali:

• L'encoder passa molti più dati al decoder. Invece di passare l'ultimo stato nascosto della fase di codifica, il codificatore trasmette tutti gli stati nascosti al decodificatore.
• Un decodificatore di attenzione fa un passo in più prima di produrre il suo output.

Modello trasformatore

Un calcolo sequenziale non può essere parallelizzato poiché dobbiamo aspettare che il passaggio precedente finisca prima di passare a quello successivo. Ciò allunga sia il tempo di allenamento che il tempo necessario per eseguire l'inferenza. Un modo per aggirare il dilemma sequenziale consiste nell'utilizzare le reti neurali convoluzionali (CNN) anziché le RNN. Il trasformatore è un modello che utilizza l'attenzione per aumentare la velocità. Più specificamente, utilizza l'auto-attenzione. Qui, ogni codificatore è composto da due livelli:

• Auto-attenzione
• Una rete neurale feed forward

I trasformatori utilizzano le reti neurali convoluzionali insieme ai modelli di attenzione per la traduzione automatica. I trasformatori sono un tipo di architettura di rete neurale che sta guadagnando popolarità. I Transformer sono stati recentemente utilizzati da OpenAI nei loro modelli linguistici e utilizzati recentemente da DeepMind per AlphaStar, il loro programma per sconfiggere un giocatore professionista di Starcraft di alto livello. I Transformers superano il modello di traduzione automatica neurale di Google in attività specifiche.

Conclusione

In poche parole, il meccanismo di auto-attenzione nel sistema consente alla varianza degli input di interagire tra loro ("sé") e consente loro di decidere a chi prestare maggiore attenzione ("attenzione"). Gli output elaborati sono quindi aggregati di queste interazioni e ponderati con punteggi di attenzione.

La comprensione fondamentale della MT nella PNL aiuta gli analisti di dati e gli scienziati dei dati a prepararsi a intraprendere progetti prestigiosi che coinvolgono progetti nella disciplina della PNL dell'IA. I corsi di formazione in materia, da parte di fornitori come upGrad , aiutano a fare il viaggio avanti. Il marchio upGrad è una piattaforma di istruzione superiore online che offre una vasta gamma di programmi rilevanti per il settore pronti a guidare il tuo successo professionale.

Se sei interessato a saperne di più sull'apprendimento automatico e sull'intelligenza artificiale, dai un'occhiata al Diploma PG di IIIT-B e upGrad in Machine Learning e AI, progettato per i professionisti che lavorano e offre oltre 450 ore di formazione rigorosa, oltre 30 casi di studio e incarichi, Status di Alumni IIIT-B, oltre 5 progetti pratici pratici e assistenza sul lavoro con le migliori aziende.

Impara il corso ML dalle migliori università del mondo. Guadagna master, Executive PGP o programmi di certificazione avanzati per accelerare la tua carriera.