Maschinelle Übersetzung in NLP: Beispiele, Ablauf und Modelle

Einführung

Es gibt über 6.500 anerkannte Sprachen auf der Welt. Es wird als notwendig empfunden, die schriftliche Ressource in allen Kulturen zu verstehen. Bei diesem Versuch werden viele alte Bücher in lokale Sprachen übersetzt und als Referenz aufbewahrt.

Sanskrit zum Beispiel, die alte Sprache des hinduistischen Erbes, soll einfallsreiche Informationen aus alten Zeiten enthalten. Dies liegt daran, dass nur sehr wenige die Sprache Sanskrit beherrschen. Es hängt wahrscheinlich von einem Mechanismus ab, um Informationen aus den heiligen Schriften und Manuskripten zu suchen.

Oft möchten wir, dass Computer natürliche Sprache verstehen. Das Gute an Computern ist, dass sie schneller rechnen können als wir Menschen. Die Herausforderung, eine natürliche Sprache zu lernen, ist jedoch sehr schwer in einem Computermodell zu replizieren.

Maschinenübersetzung

Der Begriff „maschinelle Übersetzung“ (MÜ) bezieht sich auf computergestützte Systeme, die für die Erstellung von Übersetzungen mit oder ohne menschliche Unterstützung verantwortlich sind. Ausgeschlossen sind computergestützte Übersetzungstools, die Übersetzer unterstützen, indem sie den Zugriff auf Online-Wörterbücher, entfernte Terminologiedatenbanken, Übertragung und Empfang von Texten usw. ermöglichen.

Vor dem Zeitalter der KI-Technologie wurden Computerprogramme für die automatische Übersetzung von Texten von einer Sprache in eine andere entwickelt. In den letzten Jahren wurde die KI mit der automatischen oder maschinellen Übersetzung der Fluidität und Vielseitigkeit menschlicher Sprachen von Schriften, Dialekten und Variationen beauftragt. Maschinelle Übersetzung ist angesichts der inhärenten Mehrdeutigkeit und Flexibilität der menschlichen Sprache eine Herausforderung.

Was ist NLP?

Die Verarbeitung natürlicher Sprache (NLP) ist einer der Zweige in der Verbreitung der Technologie der künstlichen Intelligenz (KI). Diese Disziplin befasst sich mit der Erstellung von Computermodellen, die natürliche Sprache verarbeiten und verstehen. NKP-Modelle bringen den Computer im Wesentlichen dazu, die semantische Gruppierung von Objekten zu verstehen (z. B. sind die Wörter „Katze und Hund“ den Wörtern „Katze und Fledermaus“ semantisch ziemlich ähnlich), Text in Sprache zu übersetzen, Sprache zu übersetzen und so weiter.

Die Verarbeitung natürlicher Sprache (NLP) veranlasst das Computersystem, menschliche Sprachen und verbale Sprache wie Englisch, Deutsch oder eine andere „natürliche Sprache“ zu verwenden, zu interpretieren und zu verstehen. In der Praxis sieht man heute eine Reihe von NLP-Anwendungen.

Sie sind typischerweise in jeweiligen Anwendungsfällen gruppiert, wie z. B. Spracherkennung, Dialogsysteme, Informationsabruf, Fragenbeantwortung und maschinelle Übersetzung haben begonnen, die Art und Weise neu zu gestalten, wie Menschen die Informationsressource identifizieren, abrufen und nutzen.

NLP-Beispiele

• Sprach-/Spracherkennungssysteme oder Abfragesysteme wie Siri bearbeiten die Frage und geben eine Antwort zurück. Hier füttern Sie einen Computer mit Sprache, und er versteht Ihre Botschaft.
• Computerprogramme, die Finanzberichte in Klartext vorlesen und Zahlen ausgeben (z. B. Inflationsrate).
• Jobportal, das Kandidatendetails abruft und automatisch Lebenslauf und Bewerbung für die Stelle erstellt, die mit den Fähigkeiten übereinstimmt.
• Google Translate verarbeitet den Text in der Eingabezeichenfolge und ordnet ihn der Sprache zu, um ihn in die Fliege zu übersetzen.
• Google-ähnliche Suchmaschinen geben Ihre Dokumente zurück, nachdem Sie ein Wort des Themas in das Suchfeld eingegeben haben. Wenn Sie beispielsweise nach Tajmahal suchen, gibt Google Ihnen Dokumente, die Tajmahal als Artefakt und sogar eine „Tajmahal“-Marke enthalten. Dabei werden die englischen Synonyme und englischen Pluralmuster berücksichtigt.

NLP-Flow

Natural Language Processing ist eine Art künstliche Intelligenz. Wenn Sie ein NLP-Programm erstellen möchten, können Sie damit beginnen, Regeln zu schreiben, wie „ein s am Ende eines Wortes ignorieren“. Dies ist die Vorgehensweise der alten Schule und wird als „regelbasierter“ Ansatz bezeichnet.

Die fortgeschritteneren Techniken verwenden jedoch statistisches Lernen, bei dem Sie Ihren Computer so programmieren, dass er Muster auf Englisch lernt. Wenn Sie dies tun, könnten Sie Ihr Programm sogar nur einmal schreiben und es so trainieren, dass es in vielen menschlichen Sprachen funktioniert.

Das Ziel von NLP ist es, menschliche Sprachen verständlich zu machen, damit ein programmierter Mechanismus die Manuskripte interpretieren und verstehen kann. Hier nennen wir den programmierten Mechanismus eine Maschine, und das Manuskript ist das Sprachskript, das dem Programm zugeführt wird. Das Computerprogramm extrahiert somit die sprachlichen Daten in Form von digitalem Wissen.

Anstelle der statistischen Lernmodelle wandelt die Maschine dann die Sprachattribute in einen regelbasierten, statistischen Ansatz um, der darauf abzielt, spezifische Probleme anzugehen und die Aufgabe der Sprachverarbeitung zu erfüllen.

In vielen älteren Systemen, insbesondere solchen vom Typ der „direkten Übersetzung“, waren die Komponenten Analyse, Übertragung und Synthese nicht immer klar voneinander getrennt. Einige von ihnen vermischten auch Daten (Wörterbuch und Grammatik) und Verarbeitungsregeln und -routinen.

Neue Systeme weisen verschiedene Modularitätsgrade auf, sodass Systemkomponenten, Daten und Programme ohne Beeinträchtigung der Gesamtsystemeffizienz angepasst und geändert werden können. Eine weitere Stufe in einigen neueren Systemen ist die Umkehrbarkeit von Analyse- und Synthesekomponenten, dh die Daten und Transformationen, die bei der Analyse einer bestimmten Sprache verwendet werden, werden umgekehrt angewendet, wenn Texte in dieser Sprache erzeugt werden. Erfahren Sie mehr über die Anwendungen der Verarbeitung natürlicher Sprache.

Entwicklung der maschinellen Übersetzung

Bis Ende der 1980er Jahre wurde in dieser Phase, als die ersten statistischen maschinellen Übersetzungssysteme (SMT) entwickelt wurden, umfangreiche Forschung zur maschinellen Übersetzung betrieben.

Klassisch wurden für diese Aufgabe die regelbasierten Systeme verwendet, die später in den 1990er Jahren durch statistische Methoden ersetzt wurden. Erst vor kurzem kamen die Deep Neural Network-Modelle auf den Markt, um hochmoderne Ergebnisse in einem Bereich zu erzielen, der zu Recht als neuronale maschinelle Übersetzung bezeichnet wird.

Die statistische maschinelle Übersetzung ersetzte klassische regelbasierte Systeme durch Modelle, die anhand von Beispielen übersetzen lernen.

Neuronale maschinelle Übersetzungsmodelle passen zu einem einzigen Modell anstelle einer verfeinerten Pipeline und erzielen derzeit Ergebnisse auf dem neuesten Stand der Technik. Seit Anfang der 2010er Jahre hat sich dieses Gebiet dann weitgehend von statistischen Methoden verabschiedet und sich dann auf neuronale Netze für maschinelles Lernen verlagert.

Mehrere bemerkenswerte frühe Erfolge bei statistischen Methoden im NLP erreichten die maschinelle Übersetzung, die für die Arbeit bei IBM Research vorgesehen war. Diese Systeme waren in der Lage, vorhandene mehrsprachige Textkörper zu nutzen, die vom Parlament von Kanada und der EU als Ergebnis von Gesetzen erstellt wurden, die die Übersetzung aller Regierungsvorgänge in verschiedene Amtssprachen der entsprechenden Regierungssysteme erfordern.

Viele andere Systeme waren jedoch auf Korpora angewiesen, die speziell für die von diesen Systemen implementierten Aufgaben entwickelt wurden, was eine große Einschränkung der Systementwicklung war und ist. Daher entstand ein großer Forschungsbedarf in Bezug auf Methoden zum effektiven Lernen aus begrenzten Daten.

Beispielsweise betont der Begriff Neural Machine Translation (NMT), dass auf Deep Learning basierende Ansätze zur maschinellen Übersetzung Sequenz-zu-Sequenz-Transformationen direkt lernen, wodurch Zwischenschritte wie Wortausrichtung und Sprachmodellierung, die in der statistischen maschinellen Übersetzung verwendet wurden, überflüssig werden (SMT). Google hat Ende 2016 damit begonnen, ein solches Modell in der Produktion für Google Translate zu verwenden.

Sequenz-zu-Sequenz-Modell

Normalerweise besteht das Sequenz-zu-Sequenz-Modell aus zwei Teilen; erstens ein Encoder und zweitens ein Decoder. Sie sind zwei verschiedene neuronale Netzwerkmodelle, die Hand in Hand als ein großes Netzwerk arbeiten.

Der Decoderteil des Modells erzeugt dann eine abgebildete Sequenz in der Ausgabe. Decoder verschlüsselt die Zeichenfolge und fügt der Sequenz in der Darstellung eine Bedeutung hinzu. Ein Encoder-Decoder-Ansatz für die neuronale maschinelle Übersetzung codiert die gesamte Eingabezeichenfolge eines Satzes in einen Vektor endlicher Länge, von wo aus die Übersetzung decodiert wird.

Allgemein gesagt besteht die Funktion eines Encodernetzwerks darin, die Eingabesequenz zu lesen und zu analysieren, um eine Bedeutung zu erhalten, und dann eine kleine dimensionale Darstellung der Eingabezeichenfolge zu erzeugen. Das Modell leitet diese Darstellung dann an das Decodernetzwerk weiter.

Das Encoder – Decoder LSTM ist ein rekurrentes neuronales Netzwerk , das entwickelt wurde, um Sequenz-zu-Sequenz-Probleme zu lösen, manchmal auch seq2seq genannt. Das lange Kurzzeitgedächtnis (LSTM) ist eine künstliche rekurrente neuronale Netzwerkarchitektur (RNN), die beim Deep Learning verwendet wird.

Wenn beispielsweise die Zeichenfolge in der Eingabesequenz „Wo ist dieser Ort?“ lautet, synthetisiert der Decodierer dann, nachdem diese Eingabesequenz durch das Codierer-Decoder-Netzwerk geparst wurde, die Zeichenfolge unter Verwendung der LSTM-Blöcke (eine Art einer RNN-Architektur). erzeugt Wörter in der Sequenz in jedem Schritt der Iteration des Decoders.

Nach der gesamten Iterationsschleife wird die Ausgabesequenz erstellt, sagen Sie so etwas wie „Dieser Ort ist Pune“. Das LSTM-Netzwerk wird geeignet gemacht, basierend auf den Regeln zu klassifizieren, zu analysieren, die Eingabe zu verarbeiten und Vorhersagen unter Verwendung der trainierten Datenbeispiele zu treffen.

Aufmerksamkeitsmodell

„Attention“-Modell, das die Qualität maschineller Übersetzungssysteme stark verbessert hat. Die Aufmerksamkeit ermöglicht es dem Modell, sich nach Bedarf auf die relevanten Teile der Eingabesequenz zu konzentrieren.

Ein Aufmerksamkeitsmodell unterscheidet sich von einem klassischen Sequenz-zu-Sequenz-Modell in zwei wesentlichen Punkten:

• Der Encoder übergibt viel mehr Daten an den Decoder. Anstatt den letzten verborgenen Zustand der Codierungsstufe weiterzugeben, leitet der Codierer alle verborgenen Zustände an den Decodierer weiter.
• Ein Aufmerksamkeitsdecoder führt einen zusätzlichen Schritt aus, bevor er seine Ausgabe erzeugt.

Transformator-Modell

Eine sequentielle Berechnung kann nicht parallelisiert werden, da wir warten müssen, bis der vorherige Schritt abgeschlossen ist, bevor wir zum nächsten übergehen. Dies verlängert sowohl die Trainingszeit als auch die Zeit, die zum Ausführen der Inferenz benötigt wird. Eine Möglichkeit, das sequentielle Dilemma zu umgehen, besteht darin, Convolutional Neural Networks (CNNs) anstelle von RNNs zu verwenden. Der Transformator ist ein Modell, das Aufmerksamkeit nutzt, um die Geschwindigkeit zu erhöhen. Genauer gesagt nutzt es Selbstaufmerksamkeit. Hier besteht jeder Encoder aus zwei Schichten:

• Selbstaufmerksamkeit
• Ein neuronales Feed-Forward-Netzwerk

Transformer verwenden Convolutional Neural Networks zusammen mit Aufmerksamkeitsmodellen für die maschinelle Übersetzung. Transformatoren sind eine Art neuronaler Netzwerkarchitektur, die immer beliebter wird. Transformers wurden kürzlich von OpenAI in ihren Sprachmodellen und kürzlich von DeepMind für AlphaStar verwendet, ihrem Programm, um einen professionellen Top-Starcraft-Spieler zu besiegen. Die Transformers übertreffen das Google Neural Machine Translation-Modell bei bestimmten Aufgaben.

Fazit

Kurz gesagt, der Selbstaufmerksamkeitsmechanismus im System lässt die Varianz der Eingaben miteinander interagieren („Selbst“) und lässt sie entscheiden, wem sie mehr Aufmerksamkeit schenken sollten („Aufmerksamkeit“). Die verarbeiteten Ausgaben sind somit Aggregate dieser Interaktionen und mit Aufmerksamkeitswerten gewichtet.

Das grundlegende Verständnis von MT in NLP hilft Datenanalysten und Datenwissenschaftlern, sich darauf vorzubereiten, prestigeträchtige Projekte durchzuführen, die Projekte in der NLP-Disziplin der KI beinhalten. Auf dem Weg dorthin helfen die Schulungen zum Thema von Anbietern wie upGrad . Die Marke upGrad ist eine Online-Plattform für Hochschulbildung, die eine große Auswahl an branchenrelevanten Programmen bietet, die bereit sind, Ihren beruflichen Erfolg zu fördern.

Wenn Sie mehr über maschinelles Lernen und KI erfahren möchten, sehen Sie sich das PG-Diplom in maschinellem Lernen und KI von IIIT-B & upGrad an, das für Berufstätige konzipiert ist und mehr als 450 Stunden strenge Schulungen, mehr als 30 Fallstudien und Aufgaben bietet. IIIT-B Alumni-Status, mehr als 5 praktische Schlusssteinprojekte und Arbeitsunterstützung bei Top-Unternehmen.

Lernen Sie ML-Kurse von den besten Universitäten der Welt. Erwerben Sie Master-, Executive PGP- oder Advanced Certificate-Programme, um Ihre Karriere zu beschleunigen.