Temel Kovan Mülakat Soruları ve Cevapları 2022

Büyük Veri görüşmeleri genel hatlar üzerinde gerçekleştirilebilir (burada popüler Büyük Veri çerçeveleri ve araçları hakkında genel bir fikre sahip olmanız gerekir) veya belirli bir çerçeve veya araca odaklanmış olabilirler. Bugün, yaygın olarak kullanılan bir Büyük Veri çerçevesi olan Apache Hive'a odaklanacağız.

İşverenlerin genellikle Hive ile ilgili Hadoop görüşmeleri sırasında sordukları soru türleri hakkında daha iyi bir fikir edinmenize yardımcı olmak için bu Apache Hive görüşme soruları listesini oluşturduk.

Yani, eğer Hive röportajını bitirmek isteyen biriyseniz, sonuna kadar okumaya devam edin!

1. Apache Kovanı nedir?

Apache Hive, Hadoop'un üzerine inşa edilmiş bir veri ambarı çerçevesidir. Öncelikle yapılandırılmış ve yarı yapılandırılmış verileri analiz etmek için kullanılır. Hive, SQL deyimlerine benzer şekilde, veriler üzerinde yapı tasarlamak ve HQL'de (Hive Query Language) yazılmış sorguları yürütmek için tasarlanmıştır. Ayrıca, Hive derleyicisi bu sorguları harita azaltma işlerine dönüştürür.

2. Hive ne tür uygulamaları destekleyebilir?

Hive, Python, Java, C++, Ruby ve PHP ile yazılmış herhangi bir uygulamayı destekleyebilir.

3. Metastore'dan kastınız nedir? Hive neden meta verileri HDFS'de depolamıyor?

Metastore, Hive'da meta veri bilgilerini depolayan bir depodur. Bunu, nesne temsilini ilişkisel şemaya dönüştüren ve bunun tersini yapan Data Nucleus adlı açık kaynaklı bir ORM (Nesne İlişkisel Model) katmanıyla birlikte RDBMS'den yararlanarak yapar.

Hive, meta veri bilgilerini HDFS yerine RDBMS kullanarak depolar, çünkü HDFS kullanan okuma/yazma işlemleri zaman alan bir işlemdir. Düşük gecikme süresi elde edilmesine yardımcı olduğu için RDBMS'nin kendisine göre bir avantajı vardır.

4. Yerel ve Uzak Metastore arasında ayrım yapın.

Yerel bir metastore, Hive hizmetinin çalıştığı JVM'de çalışır. Aynı makinede ayrı bir JVM'de çalışan bir veritabanına veya uzak bir makineye bağlanabilir. Aksine, uzak bir metastore, Hive hizmetinin çalıştığı yerde değil, ayrı bir JVM'de çalışır.

5. Hive'da Bölme ile ne demek istiyorsun? önemi nedir?

Hive'da tablolar, benzer türdeki verileri bir sütuna veya bölüm anahtarına göre birlikte düzenlemek için bölümlere ayrılır ve düzenlenir. Bu nedenle, bir bölüm aslında tablo dizininde bir alt dizindir. Bir tablo, belirli bir bölüm için birden fazla bölüm anahtarına sahip olabilir.

Bölümleme yoluyla, bir Hive tablosunda ayrıntı düzeyi elde edebilirsiniz. Bu, tüm veri kümesi yerine yalnızca ilgili bölümlenmiş verileri taradığından sorgu gecikmesini azaltmaya yardımcı olur.

6. Kovan Değişkeni Nedir?

Hive betik dilleri tarafından geliştirilen Hive ortamında bir Hive değişkeni oluşturulur. Source komutunu kullanarak, sorgu yürütülmeye başladığında değerleri kovan sorgularına aktarır.

7. Hive ne tür veri ambarı uygulamaları için uygundur?

Hadoop ve HDFS'nin tasarım düzenlemeleri, Hive'ın yeteneklerine belirli sınırlamalar getirir. Ayrıca OLTP (Çevrimiçi İşlem İşleme) için gerekli özelliklere de sahip değildir. Hive, aşağıdakileri gerektiren büyük veri kümelerinde veri ambarı uygulamaları için en uygunudur:

• Nispeten statik verilerin analizi.
• Daha az tepki süresi.
• Verilerde dinamik değişiklik yok.

8. Kovan İndeksi nedir?

Hive index, bir Hive sorgu optimizasyon yöntemidir. Bir Hive veritabanındaki belirli bir sütuna veya sütun kümesine erişimi hızlandırmak için kullanılır. Bir Hive dizini kullanarak, veritabanı sistemi, seçilen verileri bulmak için bir tablodaki tüm satırları okumak zorunda kalmaz.

9. Neden Hcatolog'a ihtiyacınız var?

Veri yapılarını harici sistemlerle paylaşmak için Hcatalog gereklidir. Hive meta deposuna erişim sağlar, böylece Hive veri ambarına veri okuyabilir/yazabilirsiniz.

10. Bir Hive sorgu işlemcisinin bileşenlerini adlandırın?

Bir Hive sorgu işlemcisinin bileşenleri şunlardır:

• Mantıksal Üretim Planı.
• Üretimin Fiziksel Planı.
• Yürütme Motoru.
• UDF'ler ve UDAF'ler.
• Operatörler.
• Optimize edici.
• Ayrıştırıcı.
• Semantik Çözümleyici.
• Tip Kontrolü.

11. ORC format tabloları, Hive'ın performansı geliştirmesine nasıl yardımcı olur?

ORC (Optimize Edilmiş Satır Sütunlu) dosya biçimini kullanarak, Hive dosya biçiminin sayısız sınırlamasını basitleştirmeye yardımcı olduğu için Hive verilerini verimli bir şekilde depolayabilirsiniz.

12. Nesne Denetçisinin işlevi nedir?

Hive'da, Object-Inspector, bir satır nesnesinin iç yapısını ve sütunların bireysel yapısını analiz etmeye yardımcı olur. Ayrıca, bellekte farklı formatlarda saklanabilen karmaşık nesnelere erişmenin yollarını da sunar.

13. Hive ve HBase arasındaki fark nedir?

Hive ve HBase arasındaki temel ayırt edici noktalar şunlardır:

• Hive bir veri ambarı çerçevesi iken HBase bir NoSQL veritabanıdır.
• Hive çoğu SQL sorgusunu çalıştırabilirken, HBase SQL sorgularına izin vermez.
• Hive, bir tabloda kayıt düzeyinde ekleme, güncelleme ve silme işlemlerini desteklemez, ancak HBase bu işlevleri destekler.
• Hive, MapReduce'un üzerinde çalışır, ancak HBase, HDFS'nin üzerinde çalışır.

14. Yönetilen Tablo ve Harici Tablo nedir?

Yönetilen bir tabloda, yönetilen bir tablodan ayrılırsanız/çıkarsanız, hem meta veri bilgileri hem de tablo verileri Hive ambar dizininden silinir. Ancak, harici bir tabloda, tablo verileri HDFS'de tutulurken yalnızca tabloyla ilişkili meta veri bilgileri silinir.

15. Bir Hive mimarisinin farklı bileşenlerini adlandırın.

Bir Hive Mimarisinin 5 bileşeni vardır:

1. Kullanıcı Arayüzü – Kullanıcının sorguları ve diğer işlemleri Hive sistemine göndermesini sağlar. Kullanıcı arabirimi Hive web kullanıcı arabirimini, Hive komut satırını ve Hive HD Insight'ı destekler.
2. Sürücü – Sorgular için bir oturum tanıtıcısı oluşturur ve daha sonra aynısı için bir yürütme planı oluşturmak üzere sorguları derleyiciye gönderir.
3. Metastore – Ambardaki (özniteliklerle) farklı tablolar ve bölümler hakkındaki tüm bilgilerle birlikte yapılandırılmış verileri içerir. Meta veri isteğini aldığında, sorguları yürütmek için meta verileri derleyiciye gönderir.
4. Derleyici – Sorguları ayrıştırmak, farklı sorgu bloklarında anlamsal analiz yapmak ve sorgu ifadesi oluşturmak için yürütme planını oluşturur.
5. Yürütme Motoru – Derleyici yürütme planını yaparken yürütme motoru bunu uygular. Planın çeşitli aşamalarının bağımlılıklarını yönetir.

Açıkçası, Hive'da sadece bu 15 sorudan daha fazlası var. Bunlar, Hive hakkında bilgi edinmenizi kolaylaştıracak temel kavramlardır.

Büyük Veri hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 7+ vaka çalışması ve proje sağlayan, 14 programlama dili ve aracını kapsayan, pratik uygulamalı Büyük Veride Yazılım Geliştirme Uzmanlığı programında PG Diplomamıza göz atın çalıştaylar, en iyi firmalarla 400 saatten fazla titiz öğrenim ve işe yerleştirme yardımı.

Mutlu öğrenme!