NLPでの機械翻訳：例、フロー、モデル

序章

世界には6,500以上の認識された言語があります。 文化を超えて書かれた資料を理解するための時間の必要性を感じています。 その試みでは、多くの古い本が現地の言語に翻訳され、参照用に保存されています。

たとえば、サンスクリット語は、ヒンズー教の遺産の古代言語には、古代の豊富な情報があると言われています。 これは、サンスクリット語を知っている人がほとんどいないためです。 経典や写本から情報を探すのは、何らかのメカニズムに依存している可能性があります。

多くの場合、私たちはコンピューターに自然言語を理解してもらいたいと思っています。 コンピューターの良いところは、私たち人間よりも速く計算できることです。 ただし、自然言語を学習するという課題は、計算モデルで再現するのは非常に困難です。

機械翻訳

「機械翻訳」（MT）という用語は、人間の支援の有無にかかわらず、翻訳の作成を担当するコンピューター化されたシステムを指します。 オンライン辞書、リモート用語データバンク、テキストの送受信などへのアクセスを提供することにより、翻訳者をサポートするコンピュータベースの翻訳ツールは除外されます。

AIテクノロジーの時代以前は、ある言語から別の言語にテキストを自動翻訳するためのコンピュータープログラムが開発されていました。 近年、AIは、人間の言語の流動性とスクリプト、方言、およびバリエーションの多様性を自動または機械翻訳することを任務としています。 人間の言語に固有のあいまいさと柔軟性を考えると、機械翻訳は困難です。

NLPとは何ですか？

自然言語処理（NLP）は、人工知能（AI）テクノロジーの普及におけるブランチの1つです。 この分野は、自然言語を処理して理解する計算モデルの作成に関係しています。 NKPモデルは、基本的に、オブジェクトのセマンティックグループ化（たとえば、「猫と犬」という単語は「猫とバット」という単語と意味的に非常に似ています）、テキスト読み上げ、言語の翻訳などをコンピューターに理解させます。

自然言語処理（NLP）は、コンピューターシステムに、人間の言語と、英語、ドイツ語、または別の「自然言語」などの言語音声を使用、解釈、および理解させます。 今日、さまざまなNLPアプリケーションが実際に見られます。

それらは通常、音声認識、ダイアログシステム、情報検索、質問応答、機械翻訳などのそれぞれのユースケースにグループ化され、人々が情報のリソースを識別、取得、および利用する方法を再構築し始めています。

NLPの例

• 音声/音声認識システム、またはSiriのようなクエリシステムは、質問に取り組み、回答を返します。 ここであなたはコンピュータに音声を送ります、そしてそれはあなたのメッセージを理解します。
• 平易な英語で財務報告書を読み、数値（インフレ率など）を生成するコンピュータープログラム。
• 求人ポータルは候補者の詳細を取得し、履歴書を自動作成し、スキルと一致する求人に応募します。
• Google翻訳は、入力文字列のテキストを処理し、それを言語にマッピングしてフライに翻訳します。
• Googleのような検索エンジンは、検索ボックスに件名の単語を入力すると、ドキュメントを返します。 たとえば、タージマハルを検索すると、Googleはタージマハルをアーティファクトとして、さらには「タージマハル」ブランドを含むドキュメントを提供します。 ここでは、英語の同義語と英語の複数形が考慮されています。

NLPフロー

自然言語処理は一種の人工知能です。 NLPプログラムを作成したい場合は、「単語の終わりにあるsを無視する」などのルールを書き始めることができます。 これは昔ながらのやり方であり、「ルールベース」のアプローチと呼ばれています。

ただし、より高度な手法では、英語でパターンを学習するようにコンピューターをプログラムする統計学習を使用します。 これを行うと、プログラムを1回だけ記述して、多くの人間の言語で動作するようにトレーニングすることもできます。

NLPの目的は、プログラムされたメカニズムが原稿を解釈して理解できるように、人間の言語を理解できるようにすることです。 ここでは、プログラムされたメカニズムをマシンと呼び、原稿はプログラムに供給される言語スクリプトです。 したがって、コンピュータ化されたプログラムは、デジタル知識の形で言語データを抽出します。

次に、統計学習モデルではなく、マシンが言語属性を、特定の問題に対処し、言語を処理するタスクを実行することを目的としたルールベースの統計的アプローチに変換します。

多くの古いシステム、特に「直接翻訳」タイプのシステムでは、分析、転送、および合成のコンポーネントが常に明確に分離されているとは限りませんでした。 それらのいくつかはまた、データ（辞書と文法）と処理ルールとルーチンを混合しました。

新しいシステムはさまざまなモジュール性を示しているため、システムコンポーネント、データ、およびプログラムは、システム全体の効率を損なうことなく適合および変更できます。 最近のいくつかのシステムのさらなる段階は、分析および合成コンポーネントの可逆性です。つまり、特定の言語の分析で使用されるデータと変換は、その言語でテキストを生成するときに逆に適用されます。 自然言語処理のアプリケーションの詳細をご覧ください。

機械翻訳の進化

1980年代後半まで、最初の統計的機械翻訳（SMT）システムが開発されたこの段階で、機械翻訳に関するかなりの研究が行われました。

従来、このタスクにはルールベースのシステムが使用されていましたが、1990年代に統計的手法に置き換えられました。 ごく最近、ディープニューラルネットワークモデルが登場し、ニューラル機械翻訳と正しく呼ばれる分野で最先端の結果を達成しました。

統計的機械翻訳は、従来のルールベースのシステムを、例から翻訳することを学習するモデルに置き換えました。

ニューラル機械翻訳モデルは、洗練されたパイプラインではなく単一のモデルに適合し、現在、最先端の結果を達成しています。 2010年代初頭以来、この分野は統計的手法を大幅に放棄し、機械学習のためのニューラルネットワークに移行しました。

NLPの統計手法に関するいくつかの注目すべき初期の成功は、IBMResearchでの作業を目的とした機械翻訳で実現しました。 これらのシステムは、すべての政府の手続きを政府の対応するシステムのさまざまな公用語に翻訳することを要求する法律の結果として、カナダ議会およびEUによって作成された既存の多言語テキスト機関を利用することができました。

ただし、他の多くのシステムは、これらのシステムによって実装されるタスクのために特別に開発されたコーパスに依存していました。これは、システムの開発に対する大きな制限であり、現在も続いています。 したがって、限られたデータから効果的に学習する方法については、多くの研究が必要になりました。

たとえば、ニューラル機械翻訳（NMT）という用語は、機械翻訳へのディープラーニングベースのアプローチがシーケンスからシーケンスへの変換を直接学習することを強調しており、統計的機械翻訳で使用されていた単語の配置や言語モデリングなどの中間ステップが不要です。 （SMT）。 Googleは、2016年後半にGoogle翻訳の本番環境でこのようなモデルの使用を開始しました。

シーケンス間モデル

通常、シーケンス間モデルは2つの部分で構成されます。 1つ目はエンコーダー、2つ目はデコーダーです。 これらは、1つの大きなネットワークとして連携して機能する2つの異なるニューラルネットワークモデルです。

次に、モデルのデコーダー部分は、出力にマップされたシーケンスを生成します。 デコーダーは文字列を暗号化し、表現のシーケンスに意味を追加します。 ニューラル機械翻訳のエンコーダーデコーダーアプローチは、文の入力文字列全体を有限長のベクトルにエンコードし、そこから翻訳がデコードされます。

大まかに言って、エンコーダネットワークの機能は、入力シーケンスを読み取って分析し、意味を理解してから、入力文字列の小さな次元表現を生成することです。 次に、モデルはこの表現をデコーダーネットワークに転送します。

エンコーダー–デコーダーLSTMは、シーケンス間の問題に対処するように設計されたリカレントニューラルネットワークであり、seq2seqと呼ばれることもあります。 長短期記憶（LSTM）は、深層学習で使用される人工リカレントニューラルネットワーク（RNN）アーキテクチャです。

たとえば、入力シーケンスの文字列が「この場所は何ですか」の場合、この入力シーケンスがエンコーダーデコーダーネットワークを介して解析された後、LSTMブロック（RNNアーキテクチャの一種）を使用して文字列が合成されます。デコーダーの反復のすべてのステップでシーケンス内の単語を生成します。

反復の完全なループの後、「この場所はプネです」のように、出力シーケンスが構築されます。 LSTMネットワークは、ルールに基づいて分類し、分析して入力を処理し、トレーニングされたデータの例を使用して予測を行うのに適しています。

注意モデル

機械翻訳システムの品質を大幅に向上させた「アテンション」モデル。 注意により、モデルは必要に応じて入力シーケンスの関連部分に焦点を合わせることができます。

アテンションモデルは、主に2つの点で従来のシーケンス間モデルとは異なります。

• エンコーダーはより多くのデータをデコーダーに渡します。 エンコーダーは、エンコードステージの最後の非表示状態を渡す代わりに、すべての非表示状態をデコーダーに渡します。
• アテンションデコーダーは、出力を生成する前に追加の手順を実行します。

トランスモデル

次のステップに進む前に前のステップが終了するのを待たなければならないため、順次計算を並列化することはできません。 これにより、トレーニング時間と推論の実行にかかる時間の両方が長くなります。 シーケンシャルジレンマを回避する1つの方法は、RNNの代わりに畳み込みニューラルネットワーク（CNN）を使用することです。 トランスはスピードを上げるために注意を払うモデルです。 より具体的には、それは自己注意を使用します。 ここで、各エンコーダーは2つのレイヤーで構成されています。

• 自己注意
• フィードフォワードニューラルネットワーク

トランスフォーマーは、機械翻訳用の注意モデルとともに畳み込みニューラルネットワークを使用します。 トランスフォーマーは、人気を集めているニューラルネットワークアーキテクチャの一種です。 トランスフォーマーは最近、OpenAIによって言語モデルで使用され、DeepMind for AlphaStarによって最近使用されました。これは、トッププロのStarcraftプレーヤーを倒すためのプログラムです。 トランスフォーマーは、特定のタスクでGoogleニューラル機械翻訳モデルよりも優れています。

結論

一言で言えば、システムの自己注意メカニズムは、入力の分散が互いに相互作用し（「自己」）、誰にもっと注意を払うべきか（「注意」）を決定できるようにします。 したがって、処理された出力は、これらの相互作用の集計であり、注意スコアで重み付けされます。

NLPにおけるMTの基本的な理解は、データアナリストとデータサイエンティストがAIのNLP分野のプロジェクトを含む一流のプロジェクトに着手する準備をするのに役立ちます。 upGradなどのプロバイダーによる主題のトレーニングコースは、先の旅を進めるのに役立ちます。 ブランドupGradは、業界に関連する幅広いプログラムを提供するオンライン高等教育プラットフォームであり、専門家としての成功を導く準備ができています。

機械学習とAIについて詳しく知りたい場合は、IIIT-BとupGradの機械学習とAIのPGディプロマをご覧ください。これは、働く専門家向けに設計されており、450時間以上の厳格なトレーニング、30以上のケーススタディと課題を提供します。 IIIT-B卒業生のステータス、5つ以上の実践的な実践的なキャップストーンプロジェクト、トップ企業との雇用支援。

世界のトップ大学からMLコースを学びましょう。 マスター、エグゼクティブPGP、または高度な証明書プログラムを取得して、キャリアを迅速に追跡します。