Makine Öğreniminde Yalan Haber Tespiti [Kodlama Örneği ile Anlatıldı]

Sahte haberler, internet ve sosyal medyanın içinde bulunduğumuz çağın en büyük sorunlarından biridir. Birkaç saat içinde dünyanın bir ucundan diğer ucuna haber akışı olması bir lütuf olsa da, birçok kişi ve grubun yalan haber yaydığını görmek de acı verici.

Doğal Dil İşleme ve Derin Öğrenme kullanan Makine Öğrenimi teknikleri, bu sorunu bir dereceye kadar çözmek için kullanılabilir. Bu eğitimde Makine Öğrenimi kullanarak bir Sahte Haber Algılama modeli oluşturacağız.

Bu makalenin sonunda, aşağıdakileri bileceksiniz:

• Metin verilerini işleme
• NLP işleme teknikleri
• Sayı vektörleştirme ve TF-IDF
• Tahmin yapmak ve haber metnini sınıflandırmak

Kariyerinizi hızlandırmak için Dünyanın en iyi Üniversiteleri - Yüksek Lisanslar, Yönetici Yüksek Lisans Programları ve Makine Öğrenimi ve Yapay Zeka alanında İleri Düzey Sertifika Programından çevrimiçi olarak AI ve ML kursuna katılın .

Veri ve Sorun

Bir sınıflandırıcı yapmak için Kaggle Sahte Haber meydan okuma verilerini kullanacağız. Veri seti 4 özellik ve 1 ikili hedeften oluşmaktadır. 4 özellik aşağıdaki gibidir:

1. id : bir haber makalesi için benzersiz kimlik
2. başlık : bir haber makalesinin başlığı
3. yazar : haber makalesinin yazarı
4. metin : makalenin metni; eksik olabilir

Hedef ise 0s ve 1s ikili değerlerini içeren “etiket”tir. 0, güvenilir bir haber kaynağı veya başka bir deyişle Sahte Değil anlamına gelir. 1, potansiyel olarak sahte bir haber olduğu ve güvenilir olmadığı anlamına gelir. Sahip olduğumuz veri seti 20800 örnekten oluşuyor. Hemen dalalım.

Veri Ön İşleme ve Temizleme

Verileri eksik olan örnekleri şimdi bırakmamız gerekiyor.

Gördüğümüz gibi, tüm örnekleri eksik verilerle düşürdü.

Verilere bir kez bakalım.

Gördüğümüz gibi, aşağıdaki adımların yapılması gerekiyor:

• Durdurulan kelimeleri kaldırmak: Veriler ne olursa olsun herhangi bir metne değer katmayan birçok kelime vardır. Örneğin, "I", "a", "am" vb. Bu kelimelerin bilgi değeri yoktur ve bu nedenle, yalnızca gerçek değeri olan kelimelere/belirteçlere odaklanabilmemiz için derlemimizin boyutunu küçültmek için kaldırılabilir. .
• Kelimeleri köklendirme : Köklendirme ve Lemmatizasyon, kelimeleri köklerine veya köklerine indirgeme teknikleridir. Bu adımın ana avantajı, kelime dağarcığının boyutunu azaltmaktır. Örneğin Play, Playing, Played gibi kelimeler “Oynat”a indirgenecektir. Stemming, kelimeleri en kısa kelimeye kadar kısaltır ve metnin dilbilgisel yönünü dikkate almaz. Lemmatization ise dilbilgisini de dikkate alır ve bu nedenle çok daha iyi sonuçlar verir. Bununla birlikte, sözlüğe başvurması ve dilbilgisel yönü dikkate alması gerektiğinden, Lemmatization genellikle kökten daha yavaştır.
• Alfabetik değerler dışındaki her şeyi kaldırma: Alfabetik olmayan değerler burada pek kullanışlı olmadığı için kaldırılabilir. Bununla birlikte, sayısal veya diğer veri türlerinin varlığının hedef üzerinde herhangi bir etkisi olup olmadığını görmek için daha fazla keşfedebilirsiniz.

• Kelimeleri küçük harf: Kelime dağarcığını azaltmak için kelimeleri küçük harf yapın.

• Cümleleri tokenize edin: Cümlelerden jeton oluşturma.

Şimdi korpusumuza bir göz atalım.

Gördüğümüz gibi, kelimeler artık kök kelimelere dayanıyor.

TF-IDF Vektörleştirici

Şimdi kelimeleri vektörleştirme olarak da adlandırılan sayısal verilere vektörleştirmemiz gerekiyor. Vektörleştirmenin en kolay yolu Kelime Torbasını kullanmaktır. Ancak Kelime Torbası seyrek bir matris oluşturur ve bu nedenle çok fazla işlem belleği gerekir. Ayrıca, BoW, onu kötü bir algoritma yapan kelimelerin sıklığını dikkate almaz.

TF-IDF (Terim Frekansı – Ters Belge Frekansı), kelime frekanslarını dikkate alan kelimeleri vektörleştirmenin başka bir yoludur. Örneğin, “biz”, “bizim”, “the” gibi yaygın kelimeler her belgede/örnekte bulunur, dolayısıyla BoW değeri çok yüksek ve dolayısıyla yanıltıcı olacaktır. Bu kötü bir modele yol açacaktır. TF-IDF, Terim Frekansı ile Ters Belge Frekansının çarpımıdır.

Terim Sıklığı, bir belgedeki kelimelerin sıklığını dikkate alır ve Ters Belge Sıklığı, tüm tümcede bulunan kelimeleri hesaba katar. IDF değeri çok daha düşük olduğu için tüm derlemde bulunan kelimelerin önemi azalmıştır. Tek bir belgede özel olarak bulunan kelimelerin, toplam TF-IDF değerini yüksek yapan yüksek bir IDF değerine sahip olması.

Yukarıdaki kodda, Sklearn'in özellik çıkarma modülünden TF-IDF Vectorizer'ı içe aktarıyoruz. max_features'ı 5000 ve ngram_range'ı (1,3) olarak geçirerek nesnesini yapıyoruz. max_features parametresi, oluşturmak istediğimiz maksimum özellik vektörü sayısını tanımlar ve ngram_range parametresi, dahil etmek istediğimiz ngram kombinasyonlarını tanımlar. Bizim durumumuzda 1 kelime, 2 kelime ve 3 kelimeden oluşan 3 kombinasyon elde edeceğiz. Oluşturulan bazı özelliklere bir göz atalım.

Gördüğümüz gibi, oluşturulan birden çok kombinasyon türü vardır. 1 jetonlu, 2 jetonlu ve ayrıca 3 jetonlu özellik isimleri vardır.

Veri Çerçevesi Yapmak

Modelin performansını görünmeyen veriler üzerinde test edebilmemiz için veri setini tren ve test olarak ayırdık. Ardından, içinde yeni özellik vektörlerini içeren yeni bir Veri Çerçevesi oluşturuyoruz.

Modelleme ve Ayarlama

Çok terimliNB Algoritması

İlk olarak, metin veri sınıflandırması için tercih edilen en yaygın ve en kolay algoritma olan Multinomial Naive Bayes teoremini kullanıyoruz. Eğitim verilerine uyuyoruz ve test verilerini tahmin ediyoruz. Daha sonra karışıklık matrisini hesaplayıp çiziyoruz ve %88.1 doğruluk elde ediyoruz.

Hiperparametre Ayarlı Çok Terimli Sınıflandırıcı

MultinomialNB, daha fazla ayarlanabilen bir alfa parametresine sahiptir. Bu nedenle, farklı alfa değerlerine sahip çoklu MultinomialNB sınıflandırıcılarını denemek ve doğruluk puanlarını kontrol etmek için bir döngü çalıştırıyoruz. Ve mevcut puanın önceki puandan fazla olup olmadığını kontrol ediyoruz. Eğer öyleyse, o zaman sınıflandırıcıyı mevcut sınıf olarak ayarladık.

Dolayısıyla, 0,9 veya 0,8'lik bir alfa değerinin en yüksek doğruluk puanını verdiğini görebiliriz.

Sonuçların Yorumlanması

Şimdi bu sınıflandırıcı katsayı değerlerinin ne anlama geldiğini görelim. İlk önce tüm özellik adlarını başka bir değişkene kaydedeceğiz.

Şimdi değerleri ters sırada sıraladığımızda minimum değeri -4 olan değerler alıyoruz. Bunlar, en gerçek veya en az sahte olan kelimeleri belirtir.

Değerleri ters sırada sıraladığımızda minimum değeri -10 olan değerler elde ederiz. Bunlar, en az gerçek veya en sahte olan kelimeleri belirtir.

Çözüm

Bu öğreticide yalnızca makine öğrenimi algoritmalarını kullandık, ancak siz diğer sinir ağları yöntemlerini de kullanıyorsunuz. Ayrıca, metin verilerini vektörleştirmek için TF-IDF vektörleştiricisini kullandık. Count Vectorizer, Hashing Vectorizer, vb. gibi işi yaparken daha iyi olabilecek daha fazla vektörleyici var. Daha iyi sonuçlar üretip üretemeyeceğinizi görmek için diğer algoritmaları ve teknikleri deneyin ve deneyin.

Makine öğrenimi hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 450+ saat zorlu eğitim, 30'dan fazla vaka çalışması ve ödev, IIIT sunan IIIT-B & upGrad'ın Makine Öğrenimi ve Yapay Zeka alanında Yönetici PG Programına göz atın. -B Mezunu statüsü, 5'ten fazla pratik uygulamalı bitirme projesi ve en iyi firmalarla iş yardımı.