NLP'de Makine Çevirisi: Örnekler, Akış ve Modeller

Tanıtım

Dünyada 6.500'den fazla tanınmış dil vardır. Kültürler arası yazılı kaynakları anlamak için zamana ihtiyaç duyulmaktadır. Bu girişimde, birçok eski kitap yerel dillere çevrildi ve referans olması için saklandı.

Örneğin Sanskritçenin, Hindu mirasının eski dilinin, eski çağlara dair zengin bilgilere sahip olduğu söylenir. Bunun nedeni, çok azının Sanskritçe dilini bilmesidir. Kutsal yazılardan ve el yazmalarından bilgi aramak için bazı mekanizmalara bağlı olması muhtemeldir.

Çoğu zaman bilgisayarların doğal dili anlamasını isteriz. Bilgisayarların iyi yanı, biz insanlardan daha hızlı hesap yapabilmeleridir. Bununla birlikte, doğal bir dil öğrenmenin zorluğu, hesaplamalı bir model üzerinde tekrarlanması çok zordur.

Makine Çevirisi

'Makine çevirisi' (MT) terimi, insan yardımı olsun veya olmasın çeviri üretmekten sorumlu bilgisayarlı sistemleri ifade eder. Çevrimiçi sözlüklere, uzak terminoloji veri bankalarına, metinlerin iletilmesi ve alınması vb.'ne erişim sağlayarak çevirmenleri destekleyen bilgisayar tabanlı çeviri araçlarını içermez.

AI teknolojisi çağından önce, metnin bir dilden diğerine otomatik olarak çevrilmesi için bilgisayar programları geliştirildi. Son yıllarda, yapay zeka, insan dillerinin akıcılığını ve komut dosyalarının, lehçelerin ve varyasyonların çok yönlülüğünün otomatik veya makine çevirisini yapmakla görevlendirildi. İnsan dilinin doğasında var olan belirsizliği ve esnekliği göz önüne alındığında, makine çevirisi zorlu bir iştir.

NLP nedir?

Doğal Dil İşleme (NLP), Yapay Zeka (AI) teknolojisinin yayılmasındaki dallardan biridir. Bu disiplin, doğal dili işleyen ve anlayan hesaplamalı modellerin yaratılmasıyla ilgilenir. NKP modelleri temel olarak bilgisayarın nesnelerin anlamsal gruplamasını (örneğin, "kedi ve köpek" sözcükleri anlamsal olarak "kedi ve yarasa" sözcüklerine oldukça benzer), metinden konuşmaya, çeviri dili vb. anlamasını sağlar.

Doğal Dil İşleme (NLP), bilgisayar sisteminin İngilizce, Almanca veya başka bir “doğal dil” gibi insan dillerini ve sözlü konuşmaları kullanmasını, yorumlamasını ve anlamasını sağlar. Günümüzde pratikte bir dizi NLP uygulaması görülmektedir.

Bunlar tipik olarak, konuşma tanıma, diyalog sistemleri, bilgi alma, soru cevaplama ve makine çevirisi gibi ilgili kullanım durumlarında gruplandırılmıştır ve insanların bilgi kaynağını tanımlama, alma ve kullanma şeklini yeniden şekillendirmeye başlamıştır.

NLP Örnekleri

• Ses/konuşma tanıma sistemleri veya Siri gibi sorgulama sistemleri soru üzerinde çalışır ve bir yanıt döndürür. Burada bir bilgisayara sesi beslersiniz ve o sizin mesajınızı anlar.
• Sade bir İngilizceyle mali raporları okuyan ve rakamlar üreten bilgisayar programları (örneğin, enflasyon oranı).
• Aday ayrıntılarını alma ve özgeçmişi otomatik olarak oluşturan iş portalı ve becerilerle eşleşen işe başvuru.
• Google Çeviri, giriş dizesindeki metni işler ve anında çevirmek için dille eşler.
• Google benzeri arama motorları, arama kutusuna konunun bir kelimesini yazdıktan sonra belgelerinizi döndürür. Örneğin, Tajmahal'i aradığınızda, Google size bir eser olarak Tacmahal'i ve hatta bir “Tajmahal” markası olan belgeleri verir. Burada İngilizce eş anlamlılar ve İngilizce çoğul kalıplar dikkate alınmaktadır.

NLP Akışı

Doğal Dil İşleme, bir tür Yapay Zekadır. Bir NLP programı oluşturmak istiyorsanız, “bir kelimenin sonundaki s'yi yoksay” gibi kurallar yazmaya başlayabilirsiniz. Bu, işleri yapmanın eski yöntemidir ve buna “kural tabanlı” yaklaşım denir.

Ancak, daha gelişmiş teknikler, bilgisayarınızı İngilizce kalıpları öğrenmek için programladığınız istatistiksel öğrenmeyi kullanır. Bunu yaparsanız, programınızı yalnızca bir kez yazabilir ve onu birçok insan dilinde çalışacak şekilde eğitebilirsiniz.

NLP'nin amacı, programlanmış bir mekanizmanın el yazmalarını yorumlayabilmesi ve anlayabilmesi için insan dillerini anlaşılır kılmaktır. Burada, makine dediğimiz programlanmış mekanizma ve el yazması, programa beslenen dil yazısıdır. Bilgisayarlı program böylece dilsel verileri dijital bilgi biçiminde çıkarır.

Makine, istatistiksel öğrenme modellerinden ziyade, dil niteliklerini, belirli sorunları çözmeyi ve dili işleme görevini gerçekleştirmeyi amaçlayan kural tabanlı, istatistiksel bir yaklaşıma dönüştürür.

Birçok eski sistemde, özellikle 'doğrudan çeviri' türündeki sistemlerde, analiz, aktarım ve sentez bileşenleri her zaman net bir şekilde ayrılmamıştır. Bazıları ayrıca verileri (sözlük ve dilbilgisi) ve işleme kuralları ve rutinleri karıştırdı.

Yeni sistemler çeşitli modülerlik dereceleri sergilemiştir, bu nedenle sistem bileşenleri, veriler ve programlar, genel sistem verimliliğine zarar vermeden uyarlanabilir ve değiştirilebilir. Bazı yeni sistemlerde bir başka aşama, analiz ve sentez bileşenlerinin tersine çevrilebilirliğidir, yani, belirli bir dilin analizinde kullanılan veriler ve dönüşümler, o dilde metinler oluşturulurken tersine uygulanır. Doğal dil işleme uygulamaları hakkında daha fazla bilgi edinin.

Makine Çevirisinin Evrimi

1980'lerin sonlarına kadar, ilk İstatistiksel Makine Çevirisi (SMT) sistemlerinin geliştirildiği bu aşamada makine çevirisi konusunda önemli araştırmalar yapıldı.

Klasik olarak, bu görev için kural tabanlı sistemler kullanılmış, daha sonra 1990'larda istatistiksel yöntemlerle değiştirilmiştir. Çok yakın zamanda, derin sinir ağı modelleri, haklı olarak sinirsel makine çevirisi olarak adlandırılan bir alanda en gelişmiş sonuçları elde etmek için geldi.

İstatistiksel makine çevirisi, klasik kural tabanlı sistemleri, örneklerden çeviri yapmayı öğrenen modellerle değiştirdi.

Sinirsel makine çevirisi modelleri, rafine edilmiş bir işlem hattı yerine tek bir modele uyar ve şu anda en gelişmiş sonuçları elde etmektedir. 2010'ların başından beri, bu alan daha sonra istatistiksel yöntemleri büyük ölçüde terk etti ve ardından makine öğrenimi için sinir ağlarına geçti.

NLP'deki istatistiksel yöntemlerle ilgili birkaç önemli erken başarı, IBM Research'te çalışması amaçlanan makine çevirisine ulaştı. Bu sistemler, tüm hükümet işlemlerinin hükümetin ilgili sistemlerinin çeşitli resmi dillerine çevrilmesini gerektiren yasaların bir sonucu olarak, Kanada Parlamentosu ve AB tarafından üretilen mevcut çok dilli metin organlarından yararlanma yeteneğine sahipti.

Bununla birlikte, diğer birçok sistem, bu sistemler tarafından uygulanan görevler için özel olarak geliştirilen ve sistemlerin geliştirilmesinde büyük bir kısıtlama olan ve devam eden şirketlere bağımlıydı. Bu nedenle, sınırlı verilerden etkili bir şekilde öğrenme yöntemleri konusunda çok sayıda araştırmaya ihtiyaç duyuldu.

Örneğin, Nöral Makine Çevirisi (NMT) terimi, makine çevirisine yönelik derin öğrenmeye dayalı yaklaşımların doğrudan diziden diziye dönüşümleri öğrendiğini vurgulayarak, istatistiksel makine çevirisinde kullanılan kelime hizalama ve dil modelleme gibi ara adımlara olan ihtiyacı ortadan kaldırır. (SMT). Google, 2016'nın sonlarında Google Translate için üretimde böyle bir model kullanmaya başladı.

Sıradan Sıra Modeline

Normalde, diziden diziye modeli iki bölümden oluşur; ilk olarak, bir kodlayıcı ve ikinci olarak bir kod çözücü. Tek bir büyük ağ olarak el ele çalışan iki farklı sinir ağı modelidir.

Modelin kod çözücü kısmı daha sonra çıktıda eşlenmiş bir dizi oluşturur. Kod çözücü dizeyi şifreler ve diziye temsilde anlam katar. Sinirsel makine çevirisi için bir kodlayıcı-kod çözücü yaklaşımı, bir cümlenin tüm girdi dizesini çevirinin kodunun çözüldüğü sonlu uzunluklu bir vektöre kodlar.

Genel olarak, bir kodlayıcı ağının işlevi, anlam oluşturmak için giriş sırasını okumak ve analiz etmek ve ardından giriş dizesinin küçük boyutlu bir temsilini oluşturmaktır. Model daha sonra bu temsili kod çözücü ağına iletir.

Kodlayıcı – Kod Çözücü LSTM, bazen seq2seq olarak adlandırılan diziden diziye sorunları gidermek için tasarlanmış tekrarlayan bir sinir ağıdır . Uzun kısa süreli bellek (LSTM), derin öğrenmede kullanılan yapay bir tekrarlayan sinir ağı (RNN) mimarisidir.

Örneğin, giriş dizisindeki dize "Bu yer neresidir" ise, bu giriş dizisi kodlayıcı-kod çözücü ağı aracılığıyla ayrıştırıldıktan sonra LSTM bloklarını (bir RNN mimarisi türü) kullanarak dizeyi sentezler. kod çözücünün yinelemesinin her adımında sırayla sözcükler üretir.

Toplam yineleme döngüsünden sonra çıktı dizisi oluşturulur, "Burası Pune'dir" gibi bir şey söyleyin. LSTM ağı, kurallara göre sınıflandırmaya, girişi işlemek için analiz etmeye ve eğitilmiş veri örnekleri kullanılarak tahminler yapmaya uygun hale getirilmiştir.

Dikkat Modeli

Makine çeviri sistemlerinin kalitesini oldukça artıran “Dikkat” modeli. Dikkat, modelin gerektiğinde girdi dizisinin ilgili bölümlerine odaklanmasını sağlar.

Bir dikkat modeli, klasik bir diziden diziye modelden iki ana yönden farklıdır:

• Kodlayıcı, kod çözücüye çok daha fazla veri iletir. Kodlayıcı, kodlama aşamasının son gizli durumunu geçmek yerine, tüm gizli durumları kod çözücüye iletir.
• Bir dikkat kod çözücü, çıktısını üretmeden önce fazladan bir adım atar.

Trafo Modeli

Sıralı bir hesaplama paralelleştirilemez, çünkü bir sonrakine geçmeden önce önceki adımın bitmesini beklememiz gerekir. Bu, hem eğitim süresini hem de çıkarımı yürütmek için gereken süreyi uzatır. Sıralı ikilemi aşmanın bir yolu, RNN'ler yerine Evrişimli Sinir Ağlarını (CNN'ler) kullanmaktır. Transformatör, hızı artırmak için dikkati kullanan bir modeldir. Daha spesifik olarak, kendine dikkat kullanır. Burada her kodlayıcı iki katmandan oluşur:

• kendine dikkat
• İleri Beslemeli Sinir Ağı

Transformatörler, makine çevirisi için dikkat modelleriyle birlikte Evrişimli Sinir Ağlarını kullanır. Transformatörler, popülerlik kazanmakta olan bir tür sinir ağı mimarisidir. Dönüştürücüler yakın zamanda OpenAI tarafından dil modellerinde kullanıldı ve yakın zamanda DeepMind tarafından en iyi profesyonel bir Starcraft oyuncusunu yenme programı olan AlphaStar için kullanıldı. Transformers, belirli görevlerde Google Sinirsel Makine Çevirisi modelinden daha iyi performans gösterir.

Çözüm

Özetle, sistemdeki öz-dikkat mekanizması, girdilerin değişkenliğinin birbirleriyle (“öz”) etkileşime girmesine ve kime daha fazla dikkat etmeleri gerektiğine (“dikkat”) karar vermelerine izin verir. İşlenen çıktılar, bu etkileşimlerin toplamıdır ve dikkat puanlarıyla ağırlıklandırılır.

NLP'de MT'nin temel anlayışı, veri analistlerinin ve veri bilimcilerinin, AI'nın NLP disiplinindeki projeleri içeren prestijli projeleri üstlenmeye hazırlanmalarına yardımcı olur. Konuyla ilgili, upGrad gibi sağlayıcılar tarafından verilen eğitim kursları, yolculuğu ileriye taşımaya yardımcı olur. upGrad markası, profesyonel başarınıza öncülük etmeye hazır, sektörle ilgili çok çeşitli programlar sunan çevrimiçi bir yüksek öğrenim platformudur.

Makine öğrenimi ve yapay zeka hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 450+ saat zorlu eğitim, 30'dan fazla vaka çalışması ve ödev sunan IIIT-B & upGrad'ın Makine Öğrenimi ve Yapay Zeka alanında PG Diplomasına göz atın. IIIT-B Mezun statüsü, 5+ pratik uygulamalı bitirme projesi ve en iyi firmalarla iş yardımı.

Dünyanın En İyi Üniversitelerinden ML Kursu öğrenin . Kariyerinizi hızlandırmak için Master, Executive PGP veya Advanced Certificate Programları kazanın.