Tradução automática em PNL: exemplos, fluxo e modelos

Introdução

Existem mais de 6.500 idiomas reconhecidos no mundo. Sente-se uma necessidade de tempo para compreender o recurso escrito através das culturas. Nessa tentativa, muitos livros antigos são traduzidos para os idiomas locais e preservados para referência.

O sânscrito, por exemplo, diz-se que a antiga língua da herança hindu contém informações engenhosas de eras antigas. Isso ocorre porque muito poucos conhecem a língua sânscrita. É provável que dependa de algum mecanismo para buscar informações nas escrituras e manuscritos.

Muitas vezes queremos que os computadores entendam a linguagem natural. O bom dos computadores é que eles podem calcular mais rápido do que nós humanos. No entanto, o desafio de aprender uma linguagem natural é muito difícil de replicar em um modelo computacional.

Maquina de tradução

O termo 'tradução automática' (TA) refere-se a sistemas informatizados responsáveis ​​pela produção de traduções com ou sem assistência humana. Exclui ferramentas de tradução baseadas em computador que apoiam os tradutores fornecendo acesso a dicionários online, bancos de dados de terminologia remotos, transmissão e recepção de textos, etc.

Antes da era da tecnologia de IA, foram desenvolvidos programas de computador para a tradução automática de texto de um idioma para outro. Nos últimos anos, a IA foi encarregada de fazer a tradução automática ou automática da fluidez e versatilidade de scripts, dialetos e variações dos idiomas humanos. A tradução automática é um desafio devido à ambiguidade e flexibilidade inerentes à linguagem humana.

O que é PNL?

O Processamento de Linguagem Natural (PLN) é um dos ramos na disseminação da tecnologia de Inteligência Artificial (IA). Esta disciplina está preocupada com a criação de modelos computacionais que processam e entendem a linguagem natural. Os modelos NKP essencialmente fazem o computador entender o agrupamento semântico de objetos (por exemplo, as palavras “gato e cachorro” são semanticamente bastante semelhantes às palavras “gato e morcego”), texto para fala, linguagem de tradução e assim por diante.

O Processamento de Linguagem Natural (PNL) faz com que o sistema de computador use, interprete e compreenda as linguagens humanas e a fala verbal, como inglês, alemão ou outra “linguagem natural”. Uma variedade de aplicações de PNL é vista na prática hoje.

Eles são normalmente agrupados em seus respectivos casos de uso, como reconhecimento de fala, sistemas de diálogo, recuperação de informações, resposta a perguntas e tradução automática começaram a reformular a forma como as pessoas identificam, recuperam e fazem uso do recurso de informação.

Exemplos de PNL

• Sistemas de reconhecimento de voz/fala, ou sistemas de consulta como Siri, trabalham na pergunta e retornam uma resposta. Aqui você envia voz para um computador e ele entende sua mensagem.
• Programas de computador que lêem relatórios financeiros em inglês simples e produzem números (por exemplo, taxa de inflação).
• Portal de emprego recuperando detalhes do candidato e autoconstruindo currículo e inscrição para o trabalho correspondente às habilidades.
• O Google Translate processa o texto na string de entrada e o mapeia com o idioma para traduzi-lo rapidamente.
• Os mecanismos de pesquisa semelhantes ao Google retornam seus documentos depois que você digita uma palavra do assunto na caixa de pesquisa. Por exemplo, quando você pesquisa por Tajmahal, o Google fornece documentos contendo Tajmahal como um artefato e até mesmo uma marca “Tajmahal”. Aqui, os sinônimos em inglês e os padrões de plural em inglês são levados em consideração.

Fluxo de PNL

O Processamento de Linguagem Natural é um tipo de Inteligência Artificial. Se você quer construir um programa de PNL, você pode começar a escrever regras como “ignore um s no final de uma palavra”. Esta é a maneira antiga de fazer as coisas, e é chamada de abordagem “baseada em regras”.

No entanto, as técnicas mais avançadas usam aprendizado estatístico, onde você programa seu computador para aprender padrões em inglês. Se você fizer isso, poderá até escrever seu programa apenas uma vez e treiná-lo para trabalhar em muitas linguagens humanas.

O objetivo da PNL é tornar as linguagens humanas inteligíveis para que um mecanismo programado possa interpretar e entender os manuscritos. Aqui, o mecanismo programado é chamado de máquina, e o manuscrito é o script de linguagem que alimenta o programa. O programa computadorizado extrai assim os dados linguísticos na forma de conhecimento digital.

A máquina, em vez dos modelos de aprendizado estatístico, transforma os atributos da linguagem em uma abordagem estatística baseada em regras, destinada a resolver problemas específicos e executar a tarefa de processar a linguagem.

Em muitos sistemas mais antigos, particularmente aqueles do tipo 'tradução direta', os componentes de análise, transferência e síntese nem sempre eram claramente separados. Alguns deles também misturavam dados (dicionário e gramática) e regras e rotinas de processamento.

Os novos sistemas exibiram vários graus de modularidade, de modo que componentes, dados e programas do sistema podem ser adaptados e alterados sem prejudicar a eficiência geral do sistema. Outra etapa em alguns sistemas recentes é a reversibilidade dos componentes de análise e síntese, ou seja, os dados e transformações utilizados na análise de uma determinada língua são aplicados de forma inversa na geração de textos nessa língua. Saiba mais sobre as aplicações do processamento de linguagem natural.

Evolução da Tradução Automática

Até o final da década de 1980, uma considerável pesquisa em tradução automática foi realizada durante esta fase, quando os primeiros sistemas de tradução automática estatística (SMT) foram desenvolvidos.

Classicamente, os sistemas baseados em regras foram usados ​​para esta tarefa, posteriormente substituídos na década de 1990 por métodos estatísticos. Muito recentemente, os modelos de redes neurais profundas chegaram para alcançar resultados de última geração em um campo que é corretamente denominado como tradução automática neural.

A tradução automática estatística substituiu os sistemas clássicos baseados em regras por modelos que aprendem a traduzir a partir de exemplos.

Os modelos de tradução automática neural se ajustam a um único modelo em vez de um pipeline refinado e atualmente alcançam resultados de última geração. Desde o início de 2010, esse campo abandonou amplamente os métodos estatísticos e mudou para redes neurais para aprendizado de máquina.

Vários sucessos iniciais notáveis ​​em métodos estatísticos em PNL chegaram à tradução automática, destinada a trabalhar na IBM Research. Esses sistemas foram capazes de tirar proveito dos corpos textuais multilíngues existentes produzidos pelo Parlamento do Canadá e da UE como resultado de leis que exigem a tradução de todos os procedimentos governamentais em vários idiomas oficiais dos sistemas correspondentes do governo.

No entanto, muitos outros sistemas dependiam de corpora desenvolvidos especificamente para as tarefas implementadas por esses sistemas, o que era e continua sendo uma grande restrição ao desenvolvimento de sistemas. Portanto, surgiu a necessidade de muita pesquisa sobre métodos de aprendizagem eficaz a partir de dados limitados.

Por exemplo, o termo Neural Machine Translation (NMT) enfatiza que as abordagens baseadas em aprendizado profundo para a tradução automática aprendem diretamente as transformações de sequência para sequência, eliminando a necessidade de etapas intermediárias, como alinhamento de palavras e modelagem de linguagem que foi usada na tradução automática estatística. (SMT). O Google começou a usar esse modelo em produção para o Google Translate no final de 2016.

Modelo de sequência para sequência

Normalmente, o modelo de sequência a sequência compreende duas partes; primeiro, um codificador e, segundo, um decodificador. São dois modelos de redes neurais diferentes trabalhando lado a lado como uma grande rede.

A parte do decodificador do modelo gera uma sequência mapeada na saída. O decodificador criptografa a string e adiciona significado à sequência na representação. Uma abordagem codificador-decodificador, para tradução automática neural, codifica toda a cadeia de entrada de uma frase em um vetor de comprimento finito de onde a tradução é decodificada.

Em termos gerais, a função de uma rede de codificador é ler e analisar a sequência de entrada para fazer sentido e, em seguida, gerar uma representação dimensional pequena da string de entrada. O modelo então encaminha essa representação para a rede do decodificador.

O Encoder – Decoder LSTM é uma rede neural recorrente projetada para resolver problemas de sequência a sequência, às vezes chamada de seq2seq. A memória de longo prazo (LSTM) é uma arquitetura de rede neural recorrente artificial (RNN) usada em aprendizado profundo.

Por exemplo, quando a string na sequência de entrada é “What is this place”, então depois que essa sequência de entrada é analisada através da rede codificador-decodificador sintetiza a string usando os blocos LSTM (um tipo de arquitetura RNN). gera palavras na sequência em cada etapa da iteração do decodificador.

Após o loop total de iteração, a sequência de saída é construída, digamos algo como “Este lugar é Pune”. A rede LSTM é adequada para classificar com base nas regras, analisar para processar a entrada e fazer previsões usando os exemplos de dados treinados.

Modelo de atenção

Modelo “Atenção”, que melhorou muito a qualidade dos sistemas de tradução automática. A atenção permite que o modelo se concentre nas partes relevantes da sequência de entrada conforme necessário.

Um modelo de atenção difere de um modelo clássico de sequência a sequência de duas maneiras principais:

• O codificador passa muito mais dados para o decodificador. Em vez de passar o último estado oculto do estágio de codificação, o codificador passa todos os estados ocultos para o decodificador.
• Um decodificador de atenção faz uma etapa extra antes de produzir sua saída.

Modelo do transformador

Uma computação sequencial não pode ser paralelizada, pois temos que esperar que a etapa anterior termine antes de passar para a próxima. Isso aumenta o tempo de treinamento e o tempo necessário para executar a inferência. Uma maneira de contornar o dilema sequencial é usar Redes Neurais Convolucionais (CNNs) em vez de RNNs. O transformador é um modelo que usa a atenção para aumentar a velocidade. Mais especificamente, ele usa a auto-atenção. Aqui, cada codificador consiste em duas camadas:

• Auto-atenção
• Uma Rede Neural Feed Forward

Os transformadores usam Redes Neurais Convolucionais juntamente com modelos de atenção para tradução automática. Os transformadores são um tipo de arquitetura de rede neural que vem ganhando popularidade. Os transformadores foram usados ​​recentemente pela OpenAI em seus modelos de linguagem e usados ​​recentemente pela DeepMind para AlphaStar, seu programa para derrotar um jogador profissional de Starcraft. Os Transformers superam o modelo de tradução automática neural do Google em tarefas específicas.

Conclusão

Em poucas palavras, o mecanismo de autoatenção no sistema permite que a variação de entradas interaja entre si (“auto”) e permite que eles decidam a quem devem prestar mais atenção (“atenção”). As saídas processadas são, portanto, agregados dessas interações e ponderadas com pontuações de atenção.

A compreensão fundamental da TA em PNL ajuda analistas de dados e cientistas de dados a se prepararem para realizar projetos de prestígio envolvendo projetos na disciplina de PNL de IA. Os cursos de formação no assunto, por parte de fornecedores como o upGrad , ajudam a avançar. A marca upGrad é uma plataforma de ensino superior online que oferece uma vasta gama de programas relevantes para o setor, prontos para liderar seu sucesso profissional.

Se você estiver interessado em aprender mais sobre aprendizado de máquina e IA, confira o Diploma PG do IIIT-B e upGrad em aprendizado de máquina e IA, projetado para profissionais que trabalham e oferece mais de 450 horas de treinamento rigoroso, mais de 30 estudos de caso e atribuições, Status de ex-aluno do IIIT-B, mais de 5 projetos práticos práticos e assistência de trabalho com as principais empresas.

Aprenda ML Course das melhores universidades do mundo. Ganhe Masters, Executive PGP ou Advanced Certificate Programs para acelerar sua carreira.