Análise de dependência em PNL [Explicado com exemplos]

O Processamento de Linguagem Natural é um conceito interdisciplinar que utiliza os fundamentos da linguística computacional e da Inteligência Artificial para entender como as linguagens humanas interagem com a tecnologia.

A PNL requer uma compreensão profunda de várias terminologias e conceitos para aplicá-los de forma tangível a cenários do mundo real. Alguns desses conceitos básicos incluem marcação de parte de fala (POS), modelagem estatística de linguagem, análise sintática, semântica e de sentimento, normalização, tokenização, análise de dependência e análise de grupo, entre outros.

Neste artigo, veremos os fundamentos da Análise de Dependência para obter uma perspectiva de como ela é implementada na PNL.

Análise de dependência

Dependency Parsing (DP) refere-se a examinar as dependências entre as palavras de uma frase para analisar sua estrutura gramatical. Com base nisso, uma frase é dividida em vários componentes. O mecanismo baseia-se no conceito de que existe uma ligação direta entre cada unidade linguística de uma frase. Esses links são chamados de dependências.

Tomemos como exemplo a frase “ prefiro o voo matinal por Denver”.

O diagrama abaixo explica a estrutura de dependência da sentença:

Fonte

As relações entre cada unidade linguística, ou palavra, da sentença, são indicadas usando arcos direcionados em uma estrutura de dependência tipada. Conforme rotulado no diagrama, a raiz da árvore “preferir” forma o cabeçalho da frase acima.

A relação entre quaisquer duas palavras é marcada por uma tag de dependência. Por exemplo, a palavra “voo” modifica o significado do substantivo “Denver”. Portanto, você pode notar uma dependência de voo -> Denver onde o voo é o chefe e Denver é o filho ou dependente. É denotado por nmod que representa um modificador nominal.

Isso forma o caso de dependência entre cada duas palavras, onde uma atua como cabeça e a outra é o dependente. Atualmente, a taxonomia Universal Dependency V2 consiste em 37 relações sintáticas universais conforme especificado na tabela abaixo:

Análise de dependência usando NLTK

A Análise de Dependência pode ser realizada usando o pacote Natural Language Toolkit (NLTK), que é uma coleção de bibliotecas e códigos usados ​​no processamento estatístico de linguagem natural (NLP) da linguagem humana.

Podemos usar o NLTK para obter a análise de dependência por meio de um dos seguintes métodos:

1. Analisador de dependência projetiva e probabilística : Esses analisadores usam o conhecimento da linguagem humana obtido de sentenças analisadas manualmente para prever novas sentenças. Eles são conhecidos por cometer erros e trabalhar com um conjunto restrito de dados de treinamento.
2. Analisador de Stanford : Este é um analisador de linguagem natural implementado em Java. Você precisa do analisador Stanford CoreNLP para executar a análise de dependência. O analisador inclui vários idiomas, incluindo inglês, chinês, alemão e árabe.

Veja como você pode usar o analisador:

de nltk.parse.stanford import StanfordDependencyParser

path_jar = 'path_to/stanford-parser-full-2014-08-27/stanford-parser.jar'

path_models_jar = 'path_to/stanford-parser-full-2014-08-27/stanford-parser-3.4.1-models.jar'

dep_parser = StanfordDependencyParser(

path_to_jar = path_jar, path_to_models_jar = path_models_jar

)

resultado = dep_parser.raw_parse('Eu atirei em um elefante enquanto dormia')

dependência = resultado.next()

list(dependency.triples())

A saída do programa acima é a seguinte:

[

((u'shot', u'VBD'), u'nsubj', (u'I', u'PRP')),

((u'shot', u'VBD'), u'dobj', (u'elephant', u'NN')),

((u'elephant', u'NN'), u'det', (u'an', u'DT')),

((u'shot', u'VBD'), u'prep', (u'in', u'IN')),

((u'in', u'IN'), u'pobj', (u'sleep', u'NN')),

((u'dormem', u'NN'), u'poss', (u'meu', u'PRP$'))

]

Análise de grupo

A Análise de Constituinte é baseada em gramáticas livres de contexto. Aqui, a árvore de análise sintática inclui frases divididas em subfrases, cada uma pertencente a uma categoria gramatical. Cada unidade linguística ou palavra em uma frase atua como um nó terminal, que tem seu nó pai e uma tag de parte da fala.

Por exemplo, a frase “a cat” e “a box under the bed” são frases nominais, enquanto “write a letter” e “drive a car” são frases verbais.

Vamos considerar uma frase de exemplo “ Eu atirei em um elefante de pijama”. Aqui está uma representação gráfica da árvore de análise do eleitorado:

Fonte

A árvore sintática à esquerda refere-se a fotografar um elefante de pijama e a árvore sintática à direita indica o sujeito atirando em um elefante de pijama.

A frase inteira é dividida em subfases até que restem palavras terminais. VP denota uma frase verbal e NP denota frases nominais.

Análise de Dependência x Análise de Grupo Constituinte

A análise de grupos constituintes também pode ser implementada usando o analisador de Stanford. Essencialmente, ele analisa uma determinada frase de acordo com o analisador de constituintes e, posteriormente, converte a árvore de análise de constituintes em uma árvore de dependência.

Se o seu objetivo é dividir uma frase em subfrases, você deve implementar a análise de grupos constituintes. No entanto, se você deseja explorar as dependências entre as palavras em uma frase, deve usar a análise de dependência.

Confira: ideias e tópicos de projetos de PNL

Conclusão

Se você achou este artigo útil, confira a Certificação PG de 6 meses do upGrad em Machine Learning e PNL , que oferece orientação personalizada de especialistas do setor de Flipkart, Gramener e Zee5.

O programa foi desenvolvido para engenheiros, software/TI, dados e outros profissionais que desejam se firmar em Ciência de Dados e Aprendizado de Máquina. Esta certificação de pós-graduação do IIIT BBangalorethe possui um aumento salarial médio de 58% é tudo o que você precisa para obter posições avançadas de analista de dados, cientista de dados, engenheiro de ML e engenheiro de PNL nas principais empresas. Bloqueie seu assento hoje por apenas Rs. 3.034 por mês!