NLP의 종속성 구문 분석 [예제 설명]

자연어 처리는 인간 언어가 기술과 상호 작용하는 방식을 이해하기 위해 컴퓨터 언어학 및 인공 지능의 기본을 취하는 학제 간 개념입니다.

NLP는 실제 시나리오에 유형을 적용하기 위해 다양한 용어와 개념에 대한 심층적인 이해가 필요합니다. 이러한 기본 개념 중 일부는 품사(POS) 태깅, 통계적 언어 모델링, 구문, 의미 및 감정 분석, 정규화, 토큰화, 종속성 구문 분석 및 구성 구문 분석을 포함합니다.

이 기사에서는 NLP에서 구현되는 방식에 대한 관점을 얻기 위해 종속성 구문 분석의 기본 사항을 살펴보겠습니다.

종속성 구문 분석

DP(Dependency Parsing)는 문장의 단어 간의 의존성을 조사하여 문법 구조를 분석하는 것을 말합니다. 이를 기반으로 문장은 여러 구성 요소로 나뉩니다. 이 메커니즘은 문장의 모든 언어 단위 사이에 직접적인 연결이 있다는 개념을 기반으로 합니다. 이러한 링크를 종속성이라고 합니다.

예를 들어 “ 나는 덴버를 경유하는 아침 비행기를 선호합니다.” 라는 문장을 생각해 봅시다 .

아래 다이어그램은 문장의 종속성 구조를 설명합니다.

원천

문장의 모든 언어 단위 또는 단어 사이의 관계는 유형이 지정된 종속성 구조에서 방향 호를 사용하여 표시됩니다. 다이어그램에 표시된 대로 "prefer" 트리 의 루트 는 위 문장의 머리 부분을 형성합니다.

두 단어 간의 관계는 종속성 태그로 표시됩니다. 예를 들어, "flight"라는 단어는 명사 "Denver"의 의미를 수정합니다. 따라서 비행이 머리이고 Denver가 자식 또는 종속인 비행 -> Denver에서 종속성을 확인할 수 있습니다. 이는 명목 수식어를 나타내는 nmod 로 표시됩니다.

이것은 하나가 머리 역할을 하고 다른 하나가 종속되는 모든 두 단어 사이의 종속성의 경우를 형성합니다. 현재 Universal Dependency V2 분류법은 아래 표에 지정된 대로 37개의 보편적 구문 관계로 구성됩니다.

NLTK를 사용한 종속성 구문 분석

Dependency Parsing은 인간 언어의 통계적 NLP(Natural Language Processing)에 사용되는 라이브러리 및 코드 모음인 NLTK(Natural Language Toolkit) 패키지를 사용하여 수행할 수 있습니다.

NLTK를 사용하여 다음 방법 중 하나를 통해 종속성 구문 분석을 수행할 수 있습니다.

1. 확률적, 투영적 종속성 파서 : 이 파서는 손으로 파싱된 문장에서 수집한 인간 언어 지식을 사용하여 새로운 문장을 예측합니다. 그들은 실수를 저지르고 제한된 훈련 데이터 세트로 작업하는 것으로 알려져 있습니다.
2. Stanford parser : 자바로 구현된 자연어 파서입니다. 종속성 구문 분석을 수행 하려면 Stanford CoreNLP 파서 가 필요합니다 . 파서는 영어, 중국어, 독일어 및 아랍어를 포함한 여러 언어를 포함합니다.

파서를 사용하는 방법은 다음과 같습니다.

nltk.parse.stanford에서 가져오기 StanfordDependencyParser

path_jar = '경로_to/stanford-parser-full-2014-08-27/stanford-parser.jar'

path_models_jar = '경로_to/stanford-parser-full-2014-08-27/stanford-parser-3.4.1-models.jar'

dep_parser = StanfordDependencyParser(

path_to_jar = path_jar, path_to_models_jar = path_models_jar

)

result = dep_parser.raw_parse('나는 자다가 코끼리를 쐈습니다')

의존성 = result.next()

목록(종속성.triples())

위 프로그램의 출력은 다음과 같습니다.

[

((u'shot', u'VBD'), u'nsubj', (u'I', u'PRP')),

((u'shot', u'VBD'), u'dobj', (u'elephant', u'NN')),

((u'elephant', u'NN'), u'det', (u'an', u'DT')),

((u'shot', u'VBD'), u'prep', (u'in', u'IN')),

((u'in', u'IN'), u'pobj', (u'sleep', u'NN')),

((u'sleep', u'NN'), u'poss', (u'my', u'PRP$'))

]

선거구 분석

Constituency Parsing은 context-free 문법을 기반으로 합니다. 여기서 파스 트리는 각각 문법 범주에 속하는 하위 구문으로 분할된 문장을 포함합니다. 문장의 모든 언어 단위 또는 단어는 부모 노드와 품사 태그가 있는 터미널 노드 역할을 합니다.

예를 들어 "a cat"과 "box under the bed"는 명사구이고, "write a letter"와 "drive a car"는 동사구입니다.

" 나는 잠옷을 입고 코끼리를 쐈어 "라는 문장을 예로 들어 보겠습니다 . 다음은 구성 요소 구문 분석 트리의 그래픽 표현입니다.

원천

왼쪽의 파스 트리는 잠옷을 입은 코끼리를 촬영한 것이고 오른쪽의 파스 트리는 잠옷을 입은 코끼리를 촬영한 피사체를 나타냅니다.

전체 문장은 마지막 단어가 남을 때까지 하위 단계로 나뉩니다. VP는 동사구를 나타내고 NP는 명사구를 나타냅니다.

종속성 구문 분석 대 구성 요소 구문 분석

Stanford 구문 분석기를 사용하여 구성 요소 구문 분석을 구현할 수도 있습니다. 본질적으로 constituency parser에 따라 주어진 문장을 구문 분석한 다음 constituency parse tree를 종속성 트리로 변환합니다.

목표가 문장을 하위 구문으로 나누는 것이라면 구성 요소 구문 분석을 구현해야 합니다. 그러나 문장에서 단어 간의 종속성을 탐색하려면 종속성 구문 분석을 사용해야 합니다.

확인: NLP 프로젝트 아이디어 및 주제

결론

이 기사가 도움이 되었다면 Flipkart, Gramener 및 Zee5의 업계 전문가로부터 개인화된 멘토링을 제공 하는 upGrad의 기계 학습 및 NLP 6개월 PG 인증을 확인해야 합니다.

이 프로그램은 데이터 과학 및 기계 학습에 발판을 마련하려는 엔지니어, 소프트웨어/IT, 데이터 및 기타 전문가를 위해 설계되었습니다. IIIT BBangalorethe의 이 포스트 대학원 인증은 58%의 평균 급여 인상을 자랑하며, 상위 회사에서 데이터 분석가, 데이터 과학자, ML 엔지니어 및 NLP 엔지니어의 고급 직위를 얻는 데 필요한 모든 것입니다. 오늘 단돈 Rs. 월 3,034개!