Rilevamento di notizie false nell'apprendimento automatico [spiegato con un esempio di codifica]

Le fake news sono uno dei maggiori problemi nell'era attuale di Internet e dei social media. Sebbene sia una benedizione che le notizie scorrano da un angolo all'altro del mondo nel giro di poche ore, è anche doloroso vedere molte persone e gruppi che diffondono notizie false.

Le tecniche di apprendimento automatico che utilizzano l'elaborazione del linguaggio naturale e l'apprendimento profondo possono essere utilizzate per affrontare questo problema in una certa misura. In questo tutorial creeremo un modello di rilevamento di notizie false utilizzando Machine Learning.

Entro la fine di questo articolo, saprai quanto segue:

• Gestione dei dati di testo
• Tecniche di elaborazione della PNL
• Conta vettorizzazione e TF-IDF
• Fare previsioni e classificare il testo delle notizie

Partecipa al corso di IA e ML online dalle migliori università del mondo: master, programmi post-laurea esecutivi e programma di certificazione avanzato in ML e IA per accelerare la tua carriera.

Dati e problemi

Utilizzeremo i dati della sfida di Kaggle Fake News per creare un classificatore. Il set di dati è composto da 4 funzionalità e 1 target binario. Le 4 caratteristiche sono le seguenti:

1. id : ID univoco per un articolo di notizie
2. title : il titolo di un articolo di notizie
3. autore : autore dell'articolo di notizie
4. testo : il testo dell'articolo; potrebbe essere incompleto

E l'obiettivo è "etichetta" che contiene valori binari 0 e 1. Dove 0 significa che è una fonte affidabile di notizie, o in altre parole, non falso. 1 significa che si tratta di una notizia potenzialmente falsa e non affidabile. Il set di dati che abbiamo consisteva di 20800 istanze. Entriamo subito.

Pre-elaborazione e pulizia dei dati

Ora dobbiamo eliminare le istanze con dati mancanti.

Come possiamo vedere, ha eliminato tutte le istanze con dati mancanti.

Diamo un'occhiata ai dati una volta.

Come possiamo vedere, è necessario eseguire i seguenti passaggi:

• Rimuovere le stopword: ci sono molte parole che non aggiungono valore a nessun testo, indipendentemente dai dati. Ad esempio, "I", "a", "am", ecc. Queste parole non hanno valore informativo e quindi possono essere rimosse per ridurre le dimensioni del nostro corpus in modo che possiamo concentrarci solo su parole/token che hanno un valore effettivo .
• Stemming delle parole: Stemming e Lemmatization sono le tecniche per ridurre le parole alle loro radici o radici. Il vantaggio principale di questo passaggio è ridurre le dimensioni del vocabolario. Ad esempio, parole come Riproduci, Riproduci, Riproduci verranno ridotte a "Riproduci". Stemming semplicemente tronca le parole alla parola più breve e non prende in considerazione l'aspetto grammaticale del testo. La lemmatizzazione, d'altra parte, prende anche in considerazione la grammatica e quindi produce risultati molto migliori. Tuttavia, la lemmatizzazione è solitamente più lenta della stemming in quanto deve fare riferimento al dizionario e prendere in considerazione l'aspetto grammaticale.
• Rimuovere tutto tranne i valori alfabetici: i valori non alfabetici non sono molto utili qui, quindi possono essere rimossi. Tuttavia, puoi esplorare ulteriormente per vedere se la presenza di dati numerici o di altro tipo ha un impatto sul target.

• Minuscole le parole: minuscole le parole per ridurre il vocabolario.

• Tokenize le frasi: Generazione di token dalle frasi.

Diamo un'occhiata al nostro corpus ora.

Come possiamo vedere, le parole ora sono derivate da parole radice.

Vettorizzatore TF-IDF

Ora dobbiamo vettorizzare le parole in dati numerici che sono anche chiamati vettorizzazione. Il modo più semplice per vettorializzare è utilizzare il Bag of Words. Ma Bag of Words crea una matrice sparsa e quindi è necessaria molta memoria di elaborazione. Inoltre, BoW non prende in considerazione la frequenza delle parole che lo rende un cattivo algoritmo.

TF-IDF (Term Frequency – Inverse Document Frequency) è un altro modo per vettorizzare le parole che prende in considerazione le frequenze delle parole. Ad esempio, parole comuni come "noi", "nostro", "il" sono presenti in ogni documento/istanza, quindi il valore BoW sarà troppo alto e quindi fuorviante. Questo porterà a un cattivo modello. TF-IDF è la moltiplicazione di Term Frequency e Inverse Document Frequency.

Term Frequency tiene conto della frequenza delle parole in un documento e Inverse Document Frequency tiene conto delle parole presenti nell'intero corpus. Le parole presenti nell'intero corpus hanno un'importanza ridotta poiché il valore dell'IDF è molto più basso. Le parole che sono presenti specificamente in un documento hanno un valore IDF alto che rende alto il valore TF-IDF totale.

Nel codice sopra, importiamo il vettorizzatore TF-IDF dal modulo di estrazione delle funzionalità di Sklearn. Realizziamo il suo oggetto passando max_features come 5000 e ngram_range come (1,3). Il parametro max_features definisce il numero massimo di vettori di funzionalità che vogliamo creare e il parametro ngram_range definisce le combinazioni di ngram che vogliamo includere. Nel nostro caso, otterremo 3 combinazioni di 1 parola, 2 parole e 3 parole. Diamo un'occhiata ad alcune delle funzionalità create.

Come possiamo vedere, ci sono più tipi di combinazioni formate. Ci sono nomi di funzioni con 1 gettone, 2 gettoni e anche con 3 gettoni.

Realizzazione di un dataframe

Dividiamo il set di dati in treno e test in modo da poter testare le prestazioni del modello su dati invisibili. Quindi creiamo un nuovo Dataframe che contiene i nuovi vettori di funzionalità al suo interno.

Modellazione e messa a punto

Algoritmo multinomiale NB

In primo luogo, utilizziamo il teorema multinomiale di Bayes, che è l'algoritmo più comune e più semplice preferito per la classificazione dei dati di testo. Ci adattiamo ai dati di allenamento e prevediamo sui dati del test. Successivamente calcoliamo e tracciamo la matrice di confusione e otteniamo una precisione dell'88,1%.

Classificatore multinomiale con ottimizzazione iperparametrica

MultinomialNB ha un parametro alfa che può essere ulteriormente ottimizzato. Quindi eseguiamo un ciclo per provare più classificatori MultinomialNB con diversi valori alfa e verificarne i punteggi di accuratezza. E controlliamo se il punteggio attuale è maggiore del punteggio precedente. Se lo è, impostiamo il classificatore come quello corrente.

Quindi possiamo vedere che un valore alfa di 0,9 o 0,8 ha dato il punteggio di accuratezza più alto.

Interpretare i risultati

Ora vediamo cosa significano questi valori del coefficiente di classificazione. Per prima cosa salveremo tutti i nomi delle funzioni in un'altra variabile.

Ora, quando ordiniamo i valori in ordine inverso, otteniamo valori con un valore minimo di -4. Questi denotano le parole più reali o meno false.

Quando ordiniamo i valori in ordine non inverso, otteniamo valori con un valore minimo di -10. Questi denotano le parole meno reali o più false.

Conclusione

In questo tutorial, abbiamo utilizzato solo algoritmi ML, ma utilizzi anche altri metodi di reti neurali. Inoltre, per vettorizzare i dati di testo, abbiamo utilizzato il vettorizzatore TF-IDF. Ci sono anche più vettorizzatori come Count Vectorizer, Hashing Vectorizer, ecc. che possono essere migliori nel fare il lavoro. Prova e sperimenta altri algoritmi e tecniche per vedere se riesci a produrre risultati migliori o meno.

Se sei interessato a saperne di più sull'apprendimento automatico, dai un'occhiata al programma Executive PG di IIIT-B e upGrad in Machine Learning e AI , progettato per i professionisti che lavorano e offre oltre 450 ore di formazione rigorosa, oltre 30 casi di studio e incarichi, IIIT -B Status di Alumni, oltre 5 progetti pratici pratici e assistenza sul lavoro con le migliori aziende.