Analisi delle dipendenze in NLP [spiegato con esempi]

L'elaborazione del linguaggio naturale è un concetto interdisciplinare che prende i fondamenti della linguistica computazionale e dell'intelligenza artificiale per capire come le lingue umane interagiscono con la tecnologia.

La PNL richiede una comprensione approfondita di varie terminologie e concetti per applicarli in modo tangibile agli scenari del mondo reale. Alcuni di questi concetti di base includono il tagging della parte del discorso (POS), la modellazione del linguaggio statistico, l'analisi sintattica, semantica e del sentimento, la normalizzazione, la tokenizzazione, l'analisi delle dipendenze e l'analisi del collegio elettorale, tra gli altri.

In questo articolo, esamineremo i fondamenti dell'analisi delle dipendenze per ottenere una prospettiva su come viene implementata nella PNL.

Analisi delle dipendenze

Dependency Parsing (DP) si riferisce all'esame delle dipendenze tra le parole di una frase per analizzarne la struttura grammaticale. Sulla base di ciò, una frase è suddivisa in più componenti. Il meccanismo si basa sul concetto che esiste un legame diretto tra ogni unità linguistica di una frase. Questi collegamenti sono chiamati dipendenze.

Prendiamo ad esempio la frase " Preferisco il volo mattutino attraverso Denver".

Il diagramma seguente spiega la struttura delle dipendenze della frase:

Fonte

Le relazioni tra ogni unità linguistica, o parola, della frase, sono indicate utilizzando archi diretti in una struttura di dipendenza tipizzata. Come indicato nel diagramma, la radice dell'albero "preferire" costituisce la testa della frase sopra.

La relazione tra due parole qualsiasi è contrassegnata da un tag di dipendenza. Ad esempio, la parola "volo" modifica il significato del sostantivo "Denver". Pertanto, puoi notare una dipendenza da volo -> Denver dove il volo è la testa e Denver è il bambino o dipendente. È indicato da nmod che rappresenta un modificatore nominale.

Questo costituisce il caso di dipendenza tra ogni due parole in cui una funge da testa e l'altra è dipendente. Attualmente, la tassonomia della dipendenza universale V2 è composta da 37 relazioni sintattiche universali come specificato nella tabella seguente:

Analisi delle dipendenze tramite NLTK

L'analisi delle dipendenze può essere eseguita utilizzando il pacchetto Natural Language Toolkit (NLTK), che è una raccolta di librerie e codici utilizzati nell'elaborazione statistica del linguaggio naturale (NLP) del linguaggio umano.

Possiamo usare NLTK per ottenere l'analisi delle dipendenze attraverso uno dei seguenti metodi:

1. Parser probabilistico di dipendenza proiettiva : questi parser utilizzano la conoscenza del linguaggio umano raccolta da frasi analizzate manualmente per prevedere nuove frasi. È noto che commettono errori e lavorano con un insieme limitato di dati di addestramento.
2. Parser Stanford : questo è un parser in linguaggio naturale implementato su Java. È necessario il parser Stanford CoreNLP per eseguire l'analisi delle dipendenze. Il parser include diverse lingue tra cui inglese, cinese, tedesco e arabo.

Ecco come puoi usare il parser:

da nltk.parse.stanford importa StanfordDependencyParser

path_jar = 'percorso_di/stanford-parser-full-2014-08-27/stanford-parser.jar'

path_models_jar = 'percorso_di/stanford-parser-full-2014-08-27/stanford-parser-3.4.1-models.jar'

dep_parser = StanfordDependencyParser(

percorso_a_jar = percorso_jar, percorso_a_jar_modelli = percorso_jar_modelli

)

result = dep_parser.raw_parse('Ho sparato a un elefante nel sonno')

dipendenza = risultato.successivo()

lista(dipendenza.triple())

L'output del programma di cui sopra è il seguente:

[

((u'shot', u'VBD'), u'nsubj', (u'I', u'PRP')),

((u'shot', u'VBD'), u'dobj', (u'elephant', u'NN')),

((u'elefante', u'NN'), u'det', (u'an', u'DT')),

((u'shot', u'VBD'), u'prep', (u'in', u'IN')),

((u'in', u'IN'), u'pobj', (u'sleep', u'NN')),

((u'sleep', u'NN'), u'poss', (u'my', u'PRP$'))

]

Analisi del collegio elettorale

L'analisi del collegio elettorale si basa su grammatiche prive di contesto. Qui, l'albero di analisi include frasi suddivise in sottofrasi, ciascuna appartenente a una categoria grammaticale. Ogni unità linguistica o parola in una frase agisce come un nodo terminale, che ha il suo nodo padre e un tag di parte del discorso.

Ad esempio, la frase "un gatto" e "una scatola sotto il letto" sono frasi nominali, mentre "scrivi una lettera" e "guida una macchina" sono frasi verbali.

Consideriamo una frase di esempio " Ho sparato a un elefante in pigiama". Ecco una rappresentazione grafica dell'albero di analisi del collegio elettorale:

Fonte

L'albero di analisi a sinistra si riferisce alla ripresa di un elefante in pigiama e l'albero di analisi a destra indica il soggetto che spara a un elefante mentre è in pigiama.

L'intera frase è suddivisa in sottofasi finché non rimangono parole terminali. VP denota una frase verbale e NP denota frasi nominali.

Analisi delle dipendenze vs analisi del collegio elettorale

L'analisi del collegio elettorale può essere implementata anche utilizzando il parser di Stanford. Analizza essenzialmente una determinata frase secondo il parser del collegio elettorale e successivamente converte l'albero di analisi del collegio in un albero delle dipendenze.

Se il tuo obiettivo è suddividere una frase in sottofrasi, dovresti implementare l'analisi del collegio elettorale. Tuttavia, se vuoi esplorare le dipendenze tra le parole in una frase, dovresti usare l'analisi delle dipendenze.

Checkout: idee e argomenti del progetto NLP

Conclusione

Se hai trovato utile questo articolo, dovresti dare un'occhiata alla certificazione PG di 6 mesi di upGrad in Machine Learning e NLP che offre tutoraggio personalizzato da esperti del settore di Flipkart, Gramener e Zee5.

Il programma è progettato per ingegneri, software/IT, dati e altri professionisti che desiderano prendere piede in Data Science e Machine Learning. Questa certificazione post-laurea di IIIT BBangalorethe vanta un aumento medio del salario del 58% è tutto ciò di cui hai bisogno per ottenere posizioni avanzate di analista dati, scienziato dati, ingegnere ML e ingegnere NLP nelle migliori aziende. Blocca il tuo posto oggi a soli Rs. 3.034 al mese!