Traduction automatique en PNL : exemples, flux et modèles

introduction

Il existe plus de 6 500 langues reconnues dans le monde. On ressent un besoin de temps pour comprendre la ressource écrite à travers les cultures. Dans cette tentative, de nombreux livres anciens sont traduits dans les langues locales et conservés pour référence.

Le sanskrit, par exemple, l'ancienne langue de l'héritage hindou, aurait des informations ingénieuses sur les âges anciens. C'est parce que très peu connaissent la langue sanskrite. Il est probable que la recherche d'informations dans les Écritures et les manuscrits dépende d'un certain mécanisme.

Souvent, nous voulons que les ordinateurs comprennent le langage naturel. Ce qui est bien avec les ordinateurs, c'est qu'ils peuvent calculer plus vite que nous, les humains. Cependant, le défi de l'apprentissage d'une langue naturelle est très difficile à reproduire sur un modèle informatique.

Traduction automatique

Le terme « traduction automatique » (MT) désigne les systèmes informatisés chargés de produire des traductions avec ou sans assistance humaine. Cela exclut les outils de traduction informatisés qui assistent les traducteurs en leur donnant accès à des dictionnaires en ligne, à des banques de données terminologiques à distance, à la transmission et à la réception de textes, etc.

Avant l'ère de la technologie de l'IA, des programmes informatiques pour la traduction automatique de texte d'une langue à une autre ont été développés. Ces dernières années, l'IA a été chargée de faire la traduction automatique ou automatique de la fluidité et de la polyvalence des scripts, des dialectes et des variations des langues humaines. La traduction automatique est un défi compte tenu de l'ambiguïté et de la flexibilité inhérentes au langage humain.

Qu'est-ce que la PNL ?

Le traitement du langage naturel (NLP) est l'une des branches de la diffusion de la technologie de l'intelligence artificielle (IA). Cette discipline s'intéresse à la création de modèles informatiques qui traitent et comprennent le langage naturel. Les modèles NKP permettent essentiellement à l'ordinateur de comprendre le regroupement sémantique des objets (par exemple, les mots "chat et chien" sont sémantiquement assez similaires aux mots "chat et chauve-souris"), la synthèse vocale, la traduction du langage, etc.

Le traitement du langage naturel (NLP) permet au système informatique d'utiliser, d'interpréter et de comprendre les langues humaines et le discours verbal, comme l'anglais, l'allemand ou une autre « langue naturelle ». Une gamme d'applications PNL est observée dans la pratique aujourd'hui.

Ils sont généralement regroupés dans des cas d'utilisation respectifs, tels que la reconnaissance vocale, les systèmes de dialogue, la recherche d'informations, la réponse aux questions et la traduction automatique ont commencé à remodeler la façon dont les gens identifient, récupèrent et utilisent la ressource d'informations.

Exemples de PNL

• Les systèmes de reconnaissance vocale / vocale, ou les systèmes de requête comme Siri, travaillent sur la question et renvoient une réponse. Ici, vous transmettez la voix à un ordinateur et celui-ci comprend votre message.
• Programmes informatiques qui lisent des rapports financiers en langage simple et produisent des chiffres (par exemple, le taux d'inflation).
• Portail d'emploi récupérant les détails du candidat et auto-construit le CV et la candidature à l'emploi correspondant aux compétences.
• Google Translate traite le texte dans la chaîne d'entrée et le mappe avec la langue pour le traduire à la volée.
• Les moteurs de recherche de type Google renvoient vos documents une fois que vous avez tapé un mot du sujet dans le champ de recherche. Par exemple, lorsque vous recherchez Tajmahal, Google vous donne des documents contenant Tajmahal comme artefact et même une marque "Tajmahal". Ici, les synonymes anglais et les modèles pluriels anglais sont pris en considération.

Flux PNL

Le traitement automatique du langage naturel est une sorte d'intelligence artificielle. Si vous souhaitez créer un programme NLP, vous pouvez commencer à écrire des règles telles que "ignorer un s à la fin d'un mot". C'est la façon de faire à l'ancienne, et c'est ce qu'on appelle l'approche « fondée sur des règles ».

Cependant, les techniques les plus avancées utilisent l'apprentissage statistique, où vous programmez votre ordinateur pour apprendre des modèles en anglais. Si vous faites cela, vous pourriez même n'écrire votre programme qu'une seule fois et l'entraîner à fonctionner dans de nombreux langages humains.

L'objectif de la PNL est de rendre les langages humains intelligibles afin qu'un mécanisme programmé puisse interpréter et comprendre les manuscrits. Ici, le mécanisme programmé, nous l'appelons une machine, et le manuscrit est le script de langage qui alimente le programme. Le programme informatisé extrait ainsi les données linguistiques sous forme de connaissances numériques.

La machine, plutôt que les modèles d'apprentissage statistiques, transforme ensuite les attributs de la langue en une approche statistique basée sur des règles destinée à résoudre des problèmes spécifiques et à effectuer la tâche de traitement de la langue.

Dans de nombreux systèmes plus anciens, en particulier ceux du type "traduction directe", les composants d'analyse, de transfert et de synthèse n'étaient pas toujours clairement séparés. Certains d'entre eux mélangeaient également données (dictionnaire et grammaire) et règles et routines de traitement.

Les nouveaux systèmes ont présenté divers degrés de modularité, de sorte que les composants, les données et les programmes du système peuvent être adaptés et modifiés sans nuire à l'efficacité globale du système. Une autre étape dans certains systèmes récents est la réversibilité des composants d'analyse et de synthèse, c'est-à-dire que les données et les transformations utilisées dans l'analyse d'une langue particulière sont appliquées à l'envers lors de la génération de textes dans cette langue. En savoir plus sur les applications du traitement du langage naturel.

Évolution de la traduction automatique

Jusqu'à la fin des années 1980, des recherches considérables en traduction automatique ont été menées au cours de cette phase, lorsque les premiers systèmes de traduction automatique statistique (SMT) ont été développés.

Classiquement, les systèmes basés sur des règles étaient utilisés pour cette tâche, remplacés plus tard dans les années 1990 par des méthodes statistiques. Très récemment, les modèles de réseaux neuronaux profonds sont arrivés pour obtenir des résultats de pointe dans un domaine appelé à juste titre traduction automatique neuronale.

La traduction automatique statistique a remplacé les systèmes classiques basés sur des règles par des modèles qui apprennent à traduire à partir d'exemples.

Les modèles de traduction automatique neuronale s'adaptent à un modèle unique au lieu d'un pipeline raffiné et obtiennent actuellement des résultats de pointe. Depuis le début des années 2010, ce domaine a alors largement abandonné les méthodes statistiques pour se tourner alors vers les réseaux de neurones pour le machine learning.

Plusieurs premiers succès notables sur les méthodes statistiques en PNL sont arrivés dans la traduction automatique, destinée à travailler chez IBM Research. Ces systèmes étaient capables de tirer parti des corps textuels multilingues existants produits par le Parlement du Canada et de l'UE à la suite de lois exigeant la traduction de toutes les procédures gouvernementales dans diverses langues officielles des systèmes correspondants du gouvernement.

Cependant, de nombreux autres systèmes dépendaient de corpus spécifiquement développés pour les tâches mises en œuvre par ces systèmes, ce qui était et continue d'être une restriction majeure au développement des systèmes. Par conséquent, un grand besoin de recherche s'est fait sentir sur les méthodes d'apprentissage efficace à partir de données limitées.

Par exemple, le terme Neural Machine Translation (NMT) souligne que les approches basées sur l'apprentissage profond de la traduction automatique apprennent directement les transformations séquence à séquence, évitant ainsi le besoin d'étapes intermédiaires telles que l'alignement des mots et la modélisation du langage qui étaient utilisées dans la traduction automatique statistique. (SMT). Google a commencé à utiliser un tel modèle en production pour Google Translate fin 2016.

Modèle de séquence à séquence

Normalement, le modèle séquence à séquence comprend deux parties ; premièrement, un encodeur et deuxièmement, un décodeur. Ce sont deux modèles de réseaux neuronaux différents qui fonctionnent main dans la main comme un seul grand réseau.

La partie décodeur du modèle génère ensuite une séquence mappée dans la sortie. Le décodeur crypte la chaîne et ajoute un sens à la séquence dans la représentation. Une approche encodeur-décodeur, pour la traduction automatique neuronale, encode la chaîne d'entrée entière d'une phrase dans un vecteur de longueur finie à partir duquel la traduction est décodée.

En gros, la fonction d'un réseau d'encodeurs est de lire et d'analyser la séquence d'entrée pour donner un sens, puis de générer une petite représentation dimensionnelle de la chaîne d'entrée. Le modèle transmet ensuite cette représentation au réseau décodeur.

L' encodeur - décodeur LSTM est un réseau neuronal récurrent conçu pour résoudre les problèmes de séquence à séquence, parfois appelés seq2seq. La mémoire longue à court terme (LSTM) est une architecture de réseau de neurones récurrents artificiels (RNN) utilisée dans l'apprentissage en profondeur.

Par exemple, lorsque la chaîne dans la séquence d'entrée est "Quel est cet endroit", une fois cette séquence d'entrée analysée, le réseau d'encodeur-décodeur synthétise la chaîne à l'aide des blocs LSTM (un type d'architecture RNN.) Le décodeur puis génère des mots dans la séquence à chaque étape de l'itération du décodeur.

Après la boucle totale d'itération, la séquence de sortie est construite, dites quelque chose comme "Cet endroit est Pune". Le réseau LSTM est adapté pour classer en fonction des règles, analyser pour traiter l'entrée et faire des prédictions à l'aide des exemples de données entraînés.

Modèle attentionné

Modèle "Attention", qui a fortement amélioré la qualité des systèmes de traduction automatique. L'attention permet au modèle de se concentrer sur les parties pertinentes de la séquence d'entrée selon les besoins.

Un modèle d'attention diffère d'un modèle séquence à séquence classique de deux manières principales :

• L'encodeur transmet beaucoup plus de données au décodeur. Au lieu de passer le dernier état caché de l'étage d'encodage, l'encodeur passe tous les états cachés au décodeur.
• Un décodeur d'attention effectue une étape supplémentaire avant de produire sa sortie.

Modèle de transformateur

Un calcul séquentiel ne peut pas être parallélisé puisqu'il faut attendre la fin de l'étape précédente avant de passer à la suivante. Cela allonge à la fois le temps de formation et le temps nécessaire pour exécuter l'inférence. Une façon de contourner le dilemme séquentiel consiste à utiliser des réseaux de neurones convolutifs (CNN) au lieu de RNN. Le transformateur est un modèle qui utilise l'attention pour augmenter la vitesse. Plus précisément, il utilise l'auto-attention. Ici, chaque encodeur se compose de deux couches :

• Auto-attention
• Un réseau de neurones Feed Forward

Les transformateurs utilisent des réseaux de neurones convolutifs avec des modèles d'attention pour la traduction automatique. Les transformateurs sont un type d'architecture de réseau neuronal qui gagne en popularité. Les transformateurs ont été récemment utilisés par OpenAI dans leurs modèles de langage et récemment utilisés par DeepMind pour AlphaStar, leur programme pour vaincre un joueur professionnel de haut niveau de Starcraft. Les transformateurs surpassent le modèle Google Neural Machine Translation dans des tâches spécifiques.

Conclusion

En un mot, le mécanisme d'auto-attention dans le système permet à la variance des entrées d'interagir les unes avec les autres ("soi") et leur permet de décider à qui ils doivent accorder plus d'attention ("attention"). Les sorties traitées sont donc des agrégats de ces interactions et pondérées par des scores d'attention.

La compréhension fondamentale de la traduction automatique en PNL aide les analystes de données et les scientifiques des données à se préparer à entreprendre des projets prestigieux impliquant des projets dans la discipline PNL de l'IA. Les formations en la matière, par des prestataires comme upGrad , permettent d'avancer dans le voyage. La marque upGrad est une plateforme d'enseignement supérieur en ligne offrant une vaste gamme de programmes pertinents pour l'industrie, prêts à mener votre réussite professionnelle.

Si vous souhaitez en savoir plus sur l'apprentissage automatique et l'IA, consultez le diplôme PG d'IIIT-B & upGrad en apprentissage automatique et IA, conçu pour les professionnels en activité et offrant plus de 450 heures de formation rigoureuse, plus de 30 études de cas et missions, Statut d'ancien de l'IIIT-B, plus de 5 projets de synthèse pratiques et aide à l'emploi avec les meilleures entreprises.

Apprenez le cours ML des meilleures universités du monde. Gagnez des programmes de maîtrise, Executive PGP ou Advanced Certificate pour accélérer votre carrière.