Analyse des dépendances dans le NLP [expliqué avec des exemples]

Le traitement automatique du langage naturel est un concept interdisciplinaire qui s'appuie sur les principes fondamentaux de la linguistique informatique et de l'intelligence artificielle pour comprendre comment les langages humains interagissent avec la technologie.

La PNL nécessite une compréhension approfondie de diverses terminologies et concepts pour les appliquer concrètement à des scénarios du monde réel. Certains de ces concepts de base incluent le balisage de la partie de la parole (POS), la modélisation statistique du langage, l'analyse syntaxique, sémantique et des sentiments, la normalisation, la tokenisation, l'analyse des dépendances et l'analyse des circonscriptions, entre autres.

Dans cet article, nous examinerons les principes fondamentaux de l'analyse des dépendances pour avoir une idée de la façon dont elle est implémentée dans le NLP.

Analyse des dépendances

L'analyse des dépendances (DP) consiste à examiner les dépendances entre les mots d'une phrase pour analyser sa structure grammaticale. Sur cette base, une phrase est divisée en plusieurs éléments. Le mécanisme est basé sur le concept qu'il existe un lien direct entre chaque unité linguistique d'une phrase. Ces liens sont appelés dépendances.

Prenons par exemple la phrase « Je préfère le vol du matin via Denver ».

Le diagramme ci-dessous explique la structure de dépendance de la phrase :

La source

Les relations entre chaque unité linguistique, ou mot, de la phrase, sont indiquées à l'aide d'arcs dirigés dans une structure de dépendance typée. Comme indiqué dans le diagramme, la racine de l'arbre "préférer" forme la tête de la phrase ci-dessus.

La relation entre deux mots est marquée par une balise de dépendance. Par exemple, le mot "vol" modifie le sens du nom "Denver". Par conséquent, vous pouvez remarquer une dépendance de vol -> Denver où le vol est le chef et Denver est l'enfant ou la personne à charge. Il est noté nmod qui représente un modificateur nominal.

Cela constitue le cas de la dépendance entre tous les deux mots où l'un agit comme la tête et l'autre est la personne à charge. Actuellement, la taxonomie Universal Dependency V2 se compose de 37 relations syntaxiques universelles comme spécifié dans le tableau ci-dessous :

Analyse des dépendances à l'aide de NLTK

L'analyse des dépendances peut être effectuée à l'aide du package Natural Language Toolkit (NLTK), qui est une collection de bibliothèques et de codes utilisés dans le traitement statistique du langage naturel (NLP) du langage humain.

Nous pouvons utiliser NLTK pour réaliser l'analyse des dépendances via l'une des méthodes suivantes :

1. Analyseur de dépendance probabiliste et projectif : ces analyseurs utilisent la connaissance du langage humain glanée à partir de phrases analysées à la main pour prédire de nouvelles phrases. Ils sont connus pour faire des erreurs et travailler avec un ensemble restreint de données de formation.
2. Analyseur Stanford : Il s'agit d'un analyseur de langage naturel implémenté sur Java. Vous avez besoin de l'analyseur Stanford CoreNLP pour effectuer l'analyse des dépendances. L'analyseur comprend plusieurs langues, dont l'anglais, le chinois, l'allemand et l'arabe.

Voici comment vous pouvez utiliser l'analyseur :

de nltk.parse.stanford importer StanfordDependencyParser

path_jar = 'path_to/stanford-parser-full-2014-08-27/stanford-parser.jar'

path_models_jar = 'chemin_vers/stanford-parser-full-2014-08-27/stanford-parser-3.4.1-models.jar'

dep_parser = StanfordDependencyParser(

path_to_jar = path_jar, path_to_models_jar = path_models_jar

)

result = dep_parser.raw_parse('J'ai abattu un éléphant dans mon sommeil')

dependency = result.next()

liste (dépendance.triples())

La sortie du programme ci-dessus est la suivante :

[

((u'shot', u'VBD'), u'nsubj', (u'I', u'PRP')),

((u'shot', u'VBD'), u'dobj', (u'elephant', u'NN')),

((u'éléphant', u'NN'), u'det', (u'an', u'DT')),

((u'shot', u'VBD'), u'prep', (u'in', u'IN')),

((u'in', u'IN'), u'pobj', (u'dormir', u'NN')),

((tu dors', u'NN'), u'poss', (u'mon', u'PRP$'))

]

Analyse de circonscription

L'analyse de circonscription est basée sur des grammaires sans contexte. Ici, l'arbre d'analyse comprend des phrases divisées en sous-phrases, chacune appartenant à une catégorie de grammaire. Chaque unité linguistique ou mot dans une phrase agit comme un nœud terminal, qui a son nœud parent et une étiquette de partie du discours.

Par exemple, les phrases « un chat » et « une boîte sous le lit » sont des phrases nominales, tandis que « écrire une lettre » et « conduire une voiture » ​​sont des phrases verbales.

Considérons une phrase d'exemple " J'ai abattu un éléphant dans mon pyjama. " Voici une représentation graphique de l'arbre d'analyse de circonscription :

La source

L'arbre d'analyse sur la gauche fait référence à la prise de vue d'un éléphant en pyjama et l'arbre d'analyse sur la droite indique le sujet qui tire sur un éléphant en pyjama.

La phrase entière est divisée en sous-phases jusqu'à ce qu'il reste des mots terminaux. VP désigne une phrase verbale et NP désigne des phrases nominales.

Analyse de dépendance vs analyse de circonscription

L'analyse de circonscription peut également être implémentée à l'aide de l'analyseur de Stanford. Il analyse essentiellement une phrase donnée selon l'analyseur de circonscription et convertit ensuite l'arbre d'analyse de circonscription en un arbre de dépendance.

Si votre objectif est de diviser une phrase en sous-phrases, vous devez implémenter l'analyse de circonscription. Cependant, si vous souhaitez explorer les dépendances entre les mots d'une phrase, vous devez utiliser l'analyse des dépendances.

Checkout : Idées et sujets de projets PNL

Conclusion

Si vous avez trouvé cet article utile, vous devriez consulter la certification PG de 6 mois d'upGrad en apprentissage automatique et PNL qui offre un mentorat personnalisé par des experts de l'industrie de Flipkart, Gramener et Zee5.

Le programme est conçu pour les ingénieurs, les logiciels / l'informatique, les données et les autres professionnels qui souhaitent se lancer dans la science des données et l'apprentissage automatique. Cette certification post-universitaire de l'IIIT BBangalorethe bénéficie d'une augmentation de salaire moyenne de 58%, c'est tout ce dont vous avez besoin pour décrocher des postes avancés d'analyste de données, de scientifique de données, d'ingénieur ML et d'ingénieur NLP dans les meilleures entreprises. Bloquez votre siège aujourd'hui à seulement Rs. 3 034 par mois !