NLP'de Bağımlılık Ayrıştırma [Örneklerle Açıklamalı]

Doğal Dil İşleme, insan dillerinin teknolojiyle nasıl etkileşime girdiğini anlamak için hesaplamalı dilbilim ve Yapay Zekanın temellerini alan disiplinler arası bir kavramdır.

NLP, bunları gerçek dünya senaryolarına somut bir şekilde uygulamak için çeşitli terminoloji ve kavramların derinlemesine anlaşılmasını gerektirir. Bu temel kavramlardan bazıları, diğerleri arasında Konuşma Bölümü (POS) Etiketleme, İstatistiksel Dil Modelleme, Sözdizimsel, Semantik ve Duyarlılık Analizi, Normalleştirme, Belirteçleştirme, Bağımlılık Ayrıştırma ve Yapı Ayrıştırmayı içerir.

Bu yazıda, NLP'de nasıl uygulandığına dair bir bakış açısı kazanmak için Bağımlılık Ayrıştırmanın temellerine bakacağız.

Bağımlılık Ayrıştırma

Bağımlılık Ayrıştırma (DP), dilbilgisel yapısını analiz etmek için bir cümlenin kelimeleri arasındaki bağımlılıkları incelemeyi ifade eder. Buna dayanarak, bir cümle birkaç bileşene ayrılır. Mekanizma, bir cümlenin her dil birimi arasında doğrudan bir bağlantı olduğu kavramına dayanmaktadır. Bu bağlantılar bağımlılıklar olarak adlandırılır.

Örneğin “ Denver üzerinden sabah uçuşunu tercih ederim ” cümlesini ele alalım .

Aşağıdaki şema cümlenin bağımlılık yapısını açıklamaktadır:

Kaynak

Cümlenin her dilsel birimi veya sözcüğü arasındaki ilişkiler, bir tür bağımlılık yapısında yönlendirilmiş yaylar kullanılarak belirtilir. Şemada belirtildiği gibi, “tercih” ağacının kökü yukarıdaki cümlenin başını oluşturur.

Herhangi iki kelime arasındaki ilişki bir bağımlılık etiketi ile işaretlenir. Örneğin, "uçuş" kelimesi "Denver" isminin anlamını değiştirir. Bu nedenle, uçuşun ana olduğu ve Denver'ın alt veya bağımlı olduğu uçuş -> Denver'dan bir bağımlılık fark edebilirsiniz. Nominal bir değiştiriciyi temsil eden nmod ile gösterilir .

Bu, birinin baş ve diğerinin bağımlı olduğu her iki kelime arasındaki bağımlılık durumunu oluşturur. Şu anda, Evrensel Bağımlılık V2 sınıflandırması, aşağıdaki tabloda belirtildiği gibi 37 evrensel sözdizimsel ilişkiden oluşur:

NLTK kullanarak Bağımlılık Ayrıştırma

Bağımlılık Ayrıştırma, insan dilinin istatistiksel Doğal Dil İşlemesinde (NLP) kullanılan kitaplıklar ve kodlardan oluşan bir koleksiyon olan Natural Language Toolkit (NLTK) paketi kullanılarak gerçekleştirilebilir.

NLTK'yı aşağıdaki yöntemlerden biriyle bağımlılık ayrıştırma elde etmek için kullanabiliriz:

1. Olasılıksal, projektif bağımlılık ayrıştırıcı : Bu ayrıştırıcılar, yeni cümleleri tahmin etmek için elle ayrıştırılan cümlelerden toplanan insan dili bilgisini kullanır. Hata yaptıkları ve sınırlı bir dizi eğitim verisiyle çalıştıkları bilinmektedir.
2. Stanford ayrıştırıcısı : Bu, Java'da uygulanan bir doğal dil ayrıştırıcısıdır. Bağımlılık ayrıştırma gerçekleştirmek için Stanford CoreNLP ayrıştırıcısına ihtiyacınız var . Ayrıştırıcı, İngilizce, Çince, Almanca ve Arapça dahil olmak üzere birçok dili içerir.

Ayrıştırıcıyı şu şekilde kullanabilirsiniz:

nltk.parse.stanford'dan StanfordDependencyParser'ı içe aktarın

path_jar = 'path_to/stanford-parser-full-2014-08-27/stanford-parser.jar'

path_models_jar = 'path_to/stanford-parser-full-2014-08-27/stanford-parser-3.4.1-models.jar'

dep_parser = StanfordDependencyParser(

path_to_jar = path_jar, path_to_models_jar = path_models_jar

)

sonuç = dep_parser.raw_parse('Uykumda bir fil vurdum')

bağımlılık = sonuç.sonraki()

liste(dependency.triples())

Yukarıdaki programın çıktısı aşağıdaki gibidir:

[

((u'shot', u'VBD'), u'nsubj', (u'I', u'PRP')),

((u'shot', u'VBD'), u'dobj', (u'fil', u'NN')),

((u'fil', u'NN'), u'det', (u'an', u'DT')),

((u'shot', u'VBD'), u'prep', (u'in', u'IN')),

((u'in', u'IN'), u'pobj', (u'uyku', u'NN')),

((u'sleep', u'NN'), u'poss', (u'my', u'PRP$'))

]

Seçim Bölgesi Ayrıştırma

Seçim Bölgesi Ayrıştırma, bağlamdan bağımsız gramerlere dayanır. Burada, ayrıştırma ağacı, her biri bir dilbilgisi kategorisine ait olan alt ifadelere bölünmüş cümleleri içerir. Bir cümledeki her dilsel birim veya kelime, üst düğümü ve konuşma parçası etiketi olan bir uç düğüm görevi görür.

Örneğin, “bir kedi” ve “yatak altında bir kutu” deyimleri isim tamlamaları iken, “mektup yazmak” ve “araba sürmek” fiil tamlamalarıdır.

Örnek bir cümle düşünelim “ Pijamayla bir fil vurdum.” Seçim bölgesi ayrıştırma ağacının grafiksel bir gösterimi:

Kaynak

Soldaki ayrıştırma ağacı, pijama giyen bir filin vurulmasını, sağdaki ayrıştırma ağacı ise öznenin pijama içindeyken bir fili vurduğunu gösterir.

Cümlenin tamamı, kalan terminal kelimelerimiz kalana kadar alt aşamalara ayrılır. VP bir fiil öbeğini, NP ise isim öbeklerini belirtir.

Bağımlılık Ayrıştırma ve Seçim Bölgesi Ayrıştırma

Seçim bölgesi ayrıştırma, Stanford ayrıştırıcı kullanılarak da uygulanabilir. Temel olarak belirli bir cümleyi seçim bölgesi ayrıştırıcısına göre ayrıştırır ve ardından seçim bölgesi ayrıştırma ağacını bir bağımlılık ağacına dönüştürür.

Amacınız bir cümleyi alt ifadelere bölmekse, seçim bölgesi ayrıştırma uygulamalısınız. Ancak, bir cümledeki kelimeler arasındaki bağımlılıkları keşfetmek istiyorsanız, bağımlılık ayrıştırmasını kullanmalısınız.

Ödeme: NLP Proje Fikirleri ve Konuları

Çözüm

Bu makaleyi faydalı bulduysanız, Flipkart, Gramener ve Zee5 sektör uzmanlarından kişiselleştirilmiş mentorluk sunan upGrad'ın Makine Öğrenimi ve NLP'de 6 aylık PG Sertifikasyonuna göz atmalısınız.

Program, Veri Bilimi ve Makine Öğreniminde bir yer edinmek isteyen mühendisler, yazılım/ BT, Veri ve diğer profesyoneller için tasarlanmıştır. IIIT BBangalorethe'nin bu Lisansüstü Sertifikası, en iyi şirketlerde Veri Analisti, Veri Bilimcisi, ML Mühendisi ve NLP Mühendisi gibi ileri düzey pozisyonlar elde etmek için ihtiyacınız olan tek şey %58'lik bir ortalama maaş artışına sahiptir. Koltuğunuzu bugün sadece Rs'de bloke edin. ayda 3.034!