Машинный перевод в НЛП: примеры, последовательность и модели

Введение

В мире насчитывается более 6500 признанных языков. Чувствуется необходимость времени, чтобы понять письменные ресурсы в разных культурах. В этой попытке многие старые книги переводятся на местные языки и сохраняются для справки.

Санскрит, например, древний язык индуистского наследия, как говорят, содержит ценную информацию о древних веках. Это потому, что очень немногие знают санскрит. Вероятно, это зависит от какого-то механизма поиска информации в священных писаниях и рукописях.

Часто мы хотим, чтобы компьютеры понимали естественный язык. Преимущество компьютеров в том, что они могут считать быстрее, чем мы, люди. Однако задачу изучения естественного языка очень сложно воспроизвести на вычислительной модели.

Машинный перевод

Термин «машинный перевод» (МП) относится к компьютеризированным системам, ответственным за выполнение переводов с помощью человека или без него. Он исключает компьютерные средства перевода, которые поддерживают переводчиков, предоставляя доступ к онлайн-словарям, удаленным банкам терминологических данных, передаче и приему текстов и т. д.

До эпохи технологий ИИ были разработаны компьютерные программы для автоматического перевода текста с одного языка на другой. В последние годы перед ИИ была поставлена ​​задача сделать автоматический или машинный перевод текучести и универсальности сценариев, диалектов и вариаций человеческих языков. Машинный перевод представляет собой сложную задачу, учитывая присущую человеческому языку двусмысленность и гибкость.

Что такое НЛП?

Обработка естественного языка (NLP) является одной из ветвей распространения технологии искусственного интеллекта (ИИ). Эта дисциплина связана с созданием вычислительных моделей, которые обрабатывают и понимают естественный язык. Модели NKP, по сути, заставляют компьютер понимать семантическую группировку объектов (например, слова «кошка и собака» семантически очень похожи на слова «кошка и летучая мышь»), преобразование текста в речь, язык перевода и т. д.

Обработка естественного языка (NLP) заставляет компьютерную систему использовать, интерпретировать и понимать человеческие языки и устную речь, например английский, немецкий или другой «естественный язык». Сегодня на практике встречается целый ряд приложений НЛП.

Обычно они сгруппированы по соответствующим вариантам использования, таким как распознавание речи, диалоговые системы, поиск информации, ответы на вопросы и машинный перевод, которые начали изменять способы идентификации, поиска и использования информационных ресурсов людьми.

Примеры НЛП

• Системы распознавания голоса/речи или системы запросов, такие как Siri, обрабатывают вопрос и возвращают ответ. Здесь вы передаете голос компьютеру, и он понимает ваше сообщение.
• Компьютерные программы, которые читают финансовые отчеты на простом английском языке и выдают цифры (например, уровень инфляции).
• Портал вакансий, извлекающий сведения о кандидатах и ​​автоматически формирующие резюме и заявки на вакансию, соответствующие навыкам.
• Google Translate обрабатывает текст во входной строке и сопоставляет его с языком, чтобы перевести его на лету.
• Поисковые системы, подобные Google, возвращают ваши документы после того, как вы введете слово темы в поле поиска. Например, когда вы ищете «Таджмахал», Google выдает вам документы, содержащие «Таджмахал» как артефакт и даже бренд «Таджмахал». Здесь учитываются английские синонимы и английские модели множественного числа.

НЛП-поток

Обработка естественного языка — это разновидность искусственного интеллекта. Если вы хотите создать программу НЛП, вы можете начать писать такие правила, как «игнорировать букву s в конце слова». Это старый способ ведения дел, и он называется подходом, основанным на правилах.

Однако более продвинутые методы используют статистическое обучение, когда вы программируете свой компьютер на изучение шаблонов на английском языке. Если вы сделаете это, вы даже сможете написать свою программу только один раз и научить ее работать на многих человеческих языках.

Цель НЛП — сделать человеческие языки понятными, чтобы запрограммированный механизм мог интерпретировать и понимать рукописи. Здесь запрограммированный механизм мы называем машиной, а рукопись — это языковой сценарий, скармливаемый программе. Таким образом, компьютеризированная программа извлекает лингвистические данные в виде цифровых знаний.

Затем машина, а не статистические модели обучения, преобразует атрибуты языка в основанный на правилах статистический подход, предназначенный для решения конкретных проблем и выполнения задачи обработки языка.

Во многих старых системах, особенно типа «прямого перевода», компоненты анализа, переноса и синтеза не всегда были четко разделены. Некоторые из них также смешивали данные (словарь и грамматику), а также правила и процедуры обработки.

Новые системы демонстрируют различные степени модульности, поэтому системные компоненты, данные и программы могут быть адаптированы и изменены без ущерба для общей эффективности системы. Еще одним этапом в некоторых современных системах является обратимость компонентов анализа и синтеза, т. е. данные и преобразования, используемые при анализе определенного языка, применяются в обратном порядке при генерации текстов на этом языке. Узнайте больше о приложениях обработки естественного языка.

Эволюция машинного перевода

До конца 1980-х годов на этом этапе проводились значительные исследования в области машинного перевода, когда были разработаны первые системы статистического машинного перевода (SMT).

Классически для этой задачи использовались системы, основанные на правилах, которые позже в 1990-х годах были заменены статистическими методами. Совсем недавно появились модели глубоких нейронных сетей для достижения самых современных результатов в области, которую справедливо называют нейронным машинным переводом.

Статистический машинный перевод заменил классические системы, основанные на правилах, моделями, которые учатся переводить на примерах.

Модели нейронного машинного перевода соответствуют одной модели вместо уточненного конвейера и в настоящее время достигают самых современных результатов. С начала 2010-х годов эта область в значительной степени отказалась от статистических методов, а затем перешла к нейронным сетям для машинного обучения.

Несколько заметных ранних успехов в области статистических методов в НЛП были достигнуты в машинном переводе, предназначенном для работы в IBM Research. Эти системы могли использовать преимущества существующих многоязычных текстовых документов, созданных парламентом Канады и ЕС в результате принятия законов, требующих перевода всех правительственных процедур на различные официальные языки соответствующих государственных систем.

Однако многие другие системы зависели от корпусов, которые были специально разработаны для задач, реализуемых этими системами, что было и остается серьезным ограничением для разработки систем. Поэтому возникла потребность в большом количестве исследований методов эффективного обучения на ограниченных данных.

Например, термин «нейронный машинный перевод» (NMT) подчеркивает, что основанные на глубоком обучении подходы к машинному переводу напрямую изучают преобразования последовательности в последовательность, устраняя необходимость в промежуточных шагах, таких как выравнивание слов и моделирование языка, которые использовались в статистическом машинном переводе. (СМТ). Google начал использовать такую ​​модель в производстве для Google Translate в конце 2016 года.

Последовательность к модели последовательности

Обычно модель «последовательность к последовательности» состоит из двух частей; во-первых, энкодер , а во-вторых, декодер. Это две разные модели нейронных сетей, работающие рука об руку как одна большая сеть.

Затем декодер модели генерирует отображаемую последовательность на выходе. Декодер шифрует строку и добавляет смысл в последовательность в представлении. Подход кодер-декодер для нейронного машинного перевода кодирует всю входную строку предложения в вектор конечной длины, из которого перевод декодируется.

В широком смысле функция сети кодировщика состоит в том, чтобы считывать и анализировать входную последовательность, чтобы придать смысл, а затем генерировать малоразмерное представление входной строки. Затем модель направляет это представление в сеть декодера.

Кодер - декодер LSTM — это рекуррентная нейронная сеть, предназначенная для решения проблем между последовательностями, иногда называемая seq2seq. Долгосрочная кратковременная память (LSTM) — это архитектура искусственной рекуррентной нейронной сети (RNN), используемая в глубоком обучении.

Например, когда строка во входной последовательности представляет собой «Что это за место», то после того, как эта входная последовательность анализируется через сеть кодировщик-декодер, синтезирует строку, используя блоки LSTM (тип архитектуры RNN). Затем декодер генерирует слова в последовательности на каждом шаге итерации декодера.

После полного цикла итерации строится выходная последовательность, скажем, что-то вроде «Это место — Пуна». Сеть LSTM сделана подходящей для классификации на основе правил, анализа для обработки входных данных и прогнозирования с использованием примеров обученных данных.

Модель внимания

Модель «Внимание», которая значительно улучшила качество систем машинного перевода. Внимание позволяет модели сосредоточиться на соответствующих частях входной последовательности по мере необходимости.

Модель внимания отличается от классической модели «последовательность за последовательностью» двумя основными способами:

• Кодер передает гораздо больше данных декодеру. Вместо передачи последнего скрытого состояния этапа кодирования кодировщик передает все скрытые состояния декодеру.
• Декодер внимания делает дополнительный шаг, прежде чем выдать результат.

Модель Трансформера

Последовательные вычисления не могут быть распараллелены, так как мы должны дождаться завершения предыдущего шага, прежде чем переходить к следующему. Это удлиняет как время обучения, так и время, необходимое для выполнения логического вывода. Один из способов обойти последовательную дилемму — использовать сверточные нейронные сети (CNN) вместо RNN. Трансформер — это модель, которая использует внимание для увеличения скорости. Более конкретно, он использует само-внимание. Здесь каждый кодер состоит из двух слоев:

• внимание к себе
• Нейронная сеть с прямой связью

Трансформеры используют сверточные нейронные сети вместе с моделями внимания для машинного перевода. Трансформеры — это набирающий популярность тип архитектуры нейронной сети. Трансформеры недавно использовались OpenAI в своих языковых моделях и недавно использовались DeepMind для AlphaStar, их программы для победы над лучшим профессиональным игроком в Starcraft. Трансформеры превосходят модель нейронного машинного перевода Google в конкретных задачах.

Заключение

В двух словах, механизм само-внимания в системе позволяет разнообразию входных данных взаимодействовать друг с другом («я») и позволяет им решать, на кого следует обращать больше внимания («внимание»). Таким образом, обработанные результаты представляют собой совокупность этих взаимодействий и взвешиваются с учетом показателей внимания.

Фундаментальное понимание машинного перевода в НЛП помогает аналитикам данных и специалистам по данным подготовиться к выполнению престижных проектов, связанных с НЛП-дисциплиной ИИ. Учебные курсы по этому предмету, проводимые такими поставщиками, как upGrad , помогают продвигаться вперед. Бренд upGrad — это онлайн-платформа высшего образования, предлагающая широкий спектр отраслевых программ, которые помогут вам добиться профессионального успеха.

Если вам интересно узнать больше о машинном обучении и искусственном интеллекте, ознакомьтесь с дипломом PG IIIT-B и upGrad в области машинного обучения и искусственного интеллекта, который предназначен для работающих профессионалов и предлагает более 450 часов тщательного обучения, более 30 тематических исследований и заданий, Статус выпускника IIIT-B, более 5 практических практических проектов и помощь в трудоустройстве в ведущих фирмах.

Изучите курс машинного обучения в лучших университетах мира. Заработайте программы Masters, Executive PGP или Advanced Certificate Programs, чтобы ускорить свою карьеру.