En İyi 10 Hadoop Komutu [Kullanımlarla birlikte]

Büyük veri yığınlarının olduğu bu çağda, bunlarla başa çıkmak zorunlu hale geliyor. Müşterileri büyüyen kuruluşlardan gelen veriler, herhangi bir geleneksel veri yönetimi aracının depolayabileceğinden çok daha büyüktür. Tek bir büyük bilgisayar veya geleneksel veri yönetimi aracı kullanmadan gigabaytlardan petabaytlara kadar değişebilen daha büyük veri kümelerini yönetme sorunuyla baş başa bırakıyor.

Apache Hadoop çerçevesinin ilgi odağı olduğu yer burasıdır. Hadoop komut uygulamasına geçmeden önce, Hadoop çerçevesini ve önemini kısaca anlayalım.

Hadoop nedir?

Hadoop, büyük ticari kuruluşlar tarafından, her gün büyük GB'ler (Gigabaytlar) veri depolamaktan veriler üzerinde bilgi işlem işlemlerine kadar çeşitli sorunları çözmek için yaygın olarak kullanılır.

Geleneksel olarak veri depolamak ve uygulamaları işlemek için kullanılan açık kaynaklı bir yazılım çerçevesi olarak tanımlanan Hadoop, geleneksel veri yönetimi araçlarının çoğundan oldukça farklıdır. Çerçeveye birkaç düğüm ekleyerek bilgi işlem gücünü artırır ve veri depolama sınırını genişleterek yüksek düzeyde ölçeklenebilir hale getirir. Ayrıca verileriniz ve uygulama işlemleriniz çeşitli donanım arızalarına karşı korunur.

Hadoop, MapReduce ve HDFS kullanarak verileri dağıtmak ve depolamak için bir master-slave mimarisini takip eder. Aşağıdaki şekilde gösterildiği gibi, mimari, Ad, Veri, Ana ve Bağımlı olmak üzere dört ana düğüm kullanarak veri yönetimi işlemlerini gerçekleştirmek için tanımlanmış bir şekilde uyarlanmıştır. Hadoop'un temel bileşenleri, doğrudan çerçevenin üzerine inşa edilmiştir. Diğer bileşenler doğrudan segmentlerle bütünleşir.

Kaynak

Hadoop Komutları

Hadoop çerçevesinin ana özellikleri tutarlı bir yapı gösterir ve Hadoop Komutlarını öğrenerek büyük verileri yönetme söz konusu olduğunda daha kullanıcı dostu hale gelir. Aşağıda, yönetim ve HDFS kümeleri dosya işleme gibi çeşitli işlemlerin gerçekleştirilmesine izin veren bazı uygun Hadoop Komutları verilmiştir. Bu komut listesi, belirli süreç sonuçlarını elde etmek için sıklıkla gereklidir.

1. Hadoop Touchz

hadoop fs -touchz /dizin/dosya adı

Bu komut, kullanıcının HDFS kümesinde yeni bir dosya oluşturmasını sağlar. Komuttaki "dizin", kullanıcının yeni dosyayı oluşturmak istediği dizin adını, "dosya adı" ise komutun tamamlanmasıyla oluşturulacak yeni dosyanın adını belirtir.

2. Hadoop Test Komutu

hadoop fs -test -[defsz] <yol>

Bu özel komut, HDFS kümesindeki bir dosyanın varlığını test etme amacını yerine getirir. Komuttaki “[defsz]”den gelen karakterler gerektiği gibi değiştirilmelidir. İşte bu karakterlerin kısa bir açıklaması:

• d -> Dizin olup olmadığını kontrol eder
• e -> Yol olup olmadığını kontrol eder
• f -> Dosya olup olmadığını kontrol eder
• s -> Boş bir yol olup olmadığını kontrol eder
• r -> Yolun varlığını ve okuma iznini kontrol eder
• w -> Yolun varlığını ve yazma iznini kontrol eder
• z -> Dosya boyutunu kontrol eder

3. Hadoop Metin Komutu

hadoop fs -metin <src>

Metin komutu, ayrılan zip dosyasını metin biçiminde görüntülemek için özellikle yararlıdır. Kaynak dosyaları işleyerek ve içeriğini düz bir kodu çözülmüş metin biçiminde sağlayarak çalışır.

4. Hadoop Bul Komutu

hadoop fs -find <yol> … <ifade>

Bu komut genellikle HDFS kümesindeki dosyaları aramak amacıyla kullanılır. Komutta verilen ifadeyi kümedeki tüm dosyalarla birlikte tarar ve tanımlanan ifadeyle eşleşen dosyaları görüntüler.

Okuyun: En İyi Hadoop Araçları

5. Hadoop Getmerge Komutu

hadoop fs -getmerge <src> <lokalest>

Getmerge komutu, HDFS dosya sistemi kümesinde belirlenmiş bir dizinde bir veya daha fazla dosyanın birleştirilmesine izin verir. Dosyaları yerel dosya sisteminde bulunan tek bir dosyada toplar. "Src" ve "localest", kaynak-hedef ve yerel hedefin anlamını temsil eder.

6. Hadoop Sayım Komutu

hadoop fs -count [seçenekler] <yol>

Adı kadar açık olan Hadoop count komutu, belirli bir dizindeki dosya ve bayt sayısını sayar. Çıktıyı gereksinime göre değiştiren çeşitli seçenekler mevcuttur. Bunlar aşağıdaki gibidir:

• q -> kota, toplam ad sayısı ve alan kullanımı üzerindeki sınırı gösterir
• u -> yalnızca kotayı ve kullanımı görüntüler
• h -> bir dosyanın boyutunu verir
• v -> başlığı görüntüler

7. Hadoop AppendToFile Komutu

hadoop fs -appendToFile <localsrc> <hedef>

Kullanıcının, bir veya daha fazla dosyanın içeriğini HDFS dosya sistemi kümesinde belirtilen hedef dosyadaki tek bir dosyaya eklemesine olanak tanır. Bu komutun yürütülmesinde, verilen kaynak dosyalar, komutta verilen dosya adına göre hedef kaynağa eklenir.

8. Hadoop ls Komutu

hadoop fs -ls /yol

Hadoop'taki ls komutu, belirli bir dizindeki, yani yoldaki dosyaların/içeriklerin listesini gösterir. /yoldan önce “R” eklendiğinde, çıktı, verilen dizinde belirtilen her dosya için adlar, boyut, sahip vb. gibi içeriğin ayrıntılarını gösterecektir.

9. Hadoop mkdir Komutu

hadoop fs -mkdir /yol/dizin_adı

Bu komutun benzersiz özelliği, dizin yoksa HDFS dosya sistemi kümesinde bir dizin oluşturulmasıdır. Ayrıca, belirtilen dizin mevcutsa, çıktı mesajı dizinin varlığını belirten bir hata gösterecektir.

10. Hadoop chmod Komutu

hadoop fs -chmod [-R] <mod> <yol>

Bu komut, belirli bir dosyaya erişim izinlerinin değiştirilmesi gerektiğinde kullanılır. chmod komutu verildiğinde belirtilen dosyanın izni değiştirilir. Ancak, dosya sahibi bu komutu çalıştırdığında iznin değiştirileceğini unutmamak önemlidir.

Ayrıca Okuyun: Impala Hadoop Eğitimi

Çözüm

Günümüz dünyasında büyük kuruluşların karşılaştığı önemli veri depolama sorunu ile başlayan bu makale, Hadoop'u tanıtarak sınırlı veri depolama için çözümü ve Hadoop komutlarını kullanarak veri yönetimi operasyonlarını gerçekleştirme üzerindeki etkisini tartıştı. Hadoop'a yeni başlayanlar için, bileşenleri ve mimarisiyle birlikte çerçeveye genel bir bakış açıklanmaktadır.

Bu makaleyi okuduktan sonra, Hadoop çerçevesi ve uygulamalı komutları konusundaki bilgilerinden kolayca emin olabilirsiniz. upGrad'ın Büyük Veride Özel PG Sertifikasyonu: upGrad, IIIT-Bangalore ile Büyük Veriyi organize edeceğiniz, analiz edeceğiniz ve yorumlayacağınız Büyük Veride PG Sertifikasyonu için sektöre özel 7,5 aylık bir program sunar.

Çalışan profesyoneller için özenle tasarlanmış olup, öğrencilerin pratik bilgi edinmelerine ve Büyük Veri rollerine girişlerini teşvik etmelerine yardımcı olacaktır.

Programın Öne Çıkanları:

• İlgili dilleri ve araçları öğrenmek
• Dağıtılmış Programlama, Büyük Veri Platformları, Veritabanı, Algoritmalar ve Web Madenciliği ile ilgili ileri düzey kavramları öğrenmek
• IIIT Bangalore'den akredite bir sertifika
• En iyi ÇUŞ'lerde yer almak için yerleştirme yardımı
• İlerlemenizi takip etmek ve her noktada size yardımcı olmak için 1:1 mentorluk
• Canlı projeler ve ödevler üzerinde çalışmak

Uygunluk : Matematik/Yazılım Mühendisliği/İstatistik/Analiz geçmişi

upGrad'daki diğer Yazılım Mühendisliği Kurslarımıza göz atın.