머신러닝의 가짜 뉴스 탐지 [코딩 예제로 설명]

가짜 뉴스는 인터넷과 소셜 미디어 시대의 가장 큰 문제 중 하나입니다. 불과 몇 시간 만에 뉴스가 세계의 한 구석에서 다른 구석으로 흘러가는 것은 축복이지만, 가짜 뉴스를 퍼뜨리는 많은 사람들과 단체를 보는 것도 가슴 아픈 일입니다.

자연어 처리 및 딥 러닝을 사용하는 기계 학습 기술을 사용하여 이 문제를 어느 정도 해결할 수 있습니다. 이 튜토리얼에서는 기계 학습을 사용하여 가짜 뉴스 탐지 모델을 구축할 것입니다.

이 기사가 끝나면 다음을 알게 될 것입니다.

• 텍스트 데이터 처리
• NLP 처리 기술
• 카운트 벡터화 및 TF-IDF
• 예측 및 뉴스 텍스트 분류

세계 최고의 대학에서 온라인으로 AI 및 ML 과정 에 참여하십시오. 석사, 대학원 대학원 프로그램, ML 및 AI 고급 인증 프로그램을 통해 빠르게 경력을 쌓을 수 있습니다.

데이터 및 문제

Kaggle Fake News 챌린지 데이터를 사용하여 분류기를 만들 것입니다. 데이터 세트는 4개의 기능과 1개의 바이너리 대상으로 구성됩니다. 4가지 기능은 다음과 같습니다.

1. id : 뉴스 기사의 고유 id
2. title : 뉴스 기사의 제목
3. 저자 : 뉴스 기사의 저자
4. text : 기사의 텍스트; 불완전할 수 있다

그리고 대상은 이진 값 0과 1을 포함하는 "레이블"입니다. 여기서 0은 신뢰할 수 있는 뉴스 소스, 즉 가짜가 아님을 의미합니다. 1은 잠재적으로 가짜 뉴스이며 신뢰할 수 없음을 의미합니다. 우리가 만든 데이터 세트는 20800개의 인스턴스로 구성되었습니다. 바로 뛰어들자.

데이터 전처리 및 정리

이제 데이터가 누락된 인스턴스를 삭제해야 합니다.

보시다시피 데이터가 누락된 모든 인스턴스를 삭제했습니다.

데이터를 한 번 살펴보겠습니다.

보시다시피 다음 단계를 수행해야 합니다.

• 불용어 제거: 데이터와 상관없이 텍스트에 가치를 더하지 않는 단어가 많이 있습니다. 예: "I", "a", "am" 등. 이 단어는 정보 가치가 없으므로 제거하여 말뭉치의 크기를 줄여 실제 가치가 있는 단어/토큰에만 집중할 수 있습니다. .
• 단어 어간 추출: 어간 추출과 표제어는 단어를 어간이나 어근으로 줄이는 기술입니다. 이 단계의 주요 이점은 어휘의 크기를 줄이는 것입니다. 예를 들어 Play, Playing, Played와 같은 단어는 "Play"로 축소됩니다. 형태소 분석은 단어를 가장 짧은 단어로 자르고 텍스트의 문법적 측면을 고려하지 않습니다. 반면에 표제어 표기법은 문법적 고려도 취하므로 훨씬 더 나은 결과를 산출합니다. 그러나 표제어 분류는 사전을 참조하고 문법적 측면을 고려해야 하기 때문에 일반적으로 형태소 분석보다 느립니다.
• 알파벳 값을 제외한 모든 값 제거: 알파벳이 아닌 값은 여기에서 그다지 유용하지 않으므로 제거할 수 있습니다. 그러나 수치 데이터 또는 기타 유형의 데이터가 대상에 영향을 미치는지 확인하기 위해 추가로 탐색할 수 있습니다.

• 소문자 단어: 단어를 소문자로 줄여 어휘를 줄입니다.

• 문장 토큰화: 문장 에서 토큰 생성.

이제 코퍼스를 살펴보겠습니다.

우리가 볼 수 있듯이 단어는 이제 어근 단어로 파생됩니다.

TF-IDF 벡터라이저

이제 단어를 벡터화라고도 하는 숫자 데이터로 벡터화해야 합니다. 벡터화하는 가장 쉬운 방법은 Bag of Words를 사용하는 것입니다. 그러나 Bag of Words는 희소 행렬을 생성하므로 많은 처리 메모리가 필요합니다. 게다가, BoW는 단어의 빈도를 고려하지 않아 나쁜 알고리즘이 됩니다.

TF-IDF(Term Frequency – Inverse Document Frequency)는 단어 빈도를 고려하여 단어를 벡터화하는 또 다른 방법입니다. 예를 들어 "we", "our", "우리"와 같은 일반적인 단어는 모든 문서/인스턴스에 있으므로 BoW 값이 너무 높아 오해의 소지가 있습니다. 이것은 나쁜 모델로 이어질 것입니다. TF-IDF는 Term Frequency와 Inverse Document Frequency를 곱한 것입니다.

용어 빈도는 문서의 단어 빈도를 고려하고 역 문서 빈도는 전체 코퍼스에 존재하는 단어를 고려합니다. 전체 코퍼스에 걸쳐 존재하는 단어는 IDF 값이 훨씬 낮기 때문에 중요성이 감소했습니다. 하나의 문서에 구체적으로 존재하는 단어는 높은 IDF 값을 가지므로 전체 TF-IDF 값이 높아집니다.

위의 코드에서는 Sklearn의 feature 추출 모듈에서 TF-IDF Vectorizer를 가져옵니다. max_features를 5000으로, ngram_range를 (1,3)으로 전달하여 객체를 만듭니다. 매개변수 max_features는 생성하려는 특징 벡터의 최대 수를 정의하고 ngram_range 매개변수는 포함하려는 ngram 조합을 정의합니다. 우리의 경우 1단어, 2단어, 3단어의 3가지 조합을 얻습니다. 생성된 몇 가지 기능을 살펴보겠습니다.

보시다시피 여러 유형의 조합이 형성되어 있습니다. 1개의 토큰, 2개의 토큰 및 3개의 토큰이 있는 기능 이름이 있습니다.

데이터 프레임 만들기

우리는 보이지 않는 데이터에 대한 모델의 성능을 테스트할 수 있도록 데이터 세트를 훈련과 테스트로 나눕니다. 그런 다음 새 특징 벡터를 포함하는 새 데이터 프레임을 만듭니다.

모델링 및 튜닝

다항식NB 알고리즘

먼저 텍스트 데이터 분류에 선호되는 가장 일반적이고 가장 쉬운 알고리즘인 Multinomial Naive Bayes 정리를 사용합니다. 우리는 훈련 데이터에 적합하고 테스트 데이터에 대해 예측합니다. 나중에 우리는 정오분류표를 계산하고 플로팅하여 88.1%의 정확도를 얻습니다.

초매개변수 조정이 있는 다항 분류기

MultinomialNB에는 추가로 조정할 수 있는 매개변수 알파가 있습니다. 따라서 루프를 실행하여 서로 다른 알파 값을 가진 여러 MultinomialNB 분류기를 시도하고 정확도 점수를 확인합니다. 그리고 현재 점수가 이전 점수보다 높은지 확인합니다. 그렇다면 분류기를 현재 분류기로 설정합니다.

따라서 우리는 0.9 또는 0.8의 알파 값이 가장 높은 정확도 점수를 주었다는 것을 알 수 있습니다.

결과 해석

이제 이러한 분류기 계수 값이 의미하는 바를 살펴보겠습니다. 먼저 모든 기능 이름을 다른 변수에 저장합니다.

이제 값을 역순으로 정렬하면 최소값이 -4인 값을 얻습니다. 이것들은 가장 실제적이거나 가장 덜 가짜인 단어를 나타냅니다.

역순이 아닌 순서로 값을 정렬하면 최소값이 -10인 값을 얻습니다. 이것들은 가장 현실적이지 않거나 가장 가짜인 단어를 나타냅니다.

결론

이 자습서에서는 ML 알고리즘만 사용했지만 다른 신경망 방법도 사용합니다. 또한 텍스트 데이터를 벡터화하기 위해 TF-IDF 벡터라이저를 사용했습니다. Count Vectorizer, Hashing Vectorizer 등과 같은 더 많은 vectorizer가 있으며 작업을 더 잘 수행할 수 있습니다. 더 나은 결과를 얻을 수 있는지 여부를 확인하기 위해 다른 알고리즘과 기술을 시도하고 실험하십시오.

머신 러닝에 대해 자세히 알아보려면 IIIT-B & upGrad의 기계 학습 및 AI 경영자 PG 프로그램을 확인하세요. 이 프로그램은 일하는 전문가를 위해 설계되었으며 450시간 이상의 엄격한 교육, 30개 이상의 사례 연구 및 과제, IIIT를 제공합니다. -B 동문 자격, 5개 이상의 실용적인 실습 캡스톤 프로젝트 및 최고의 기업과의 취업 지원.