Kovanda Kovalama: Kovanda Kovalı Tablo Oluşturma

Büyük bir veri kümesiyle çalışmak zor olabilir. İzlenecek çok şey var ve küçük bir hata tüm iş akışınızı bozabilir. Büyük veri kümelerini yönetmek için en belirgin araçlardan biri kovalamadır.

Bu makale size Hive'da kovalama işlemini nasıl gerçekleştirebileceğinizi anlatacaktır. Bu işlevin birden çok uygulamasını örnekler aracılığıyla inceleyeceğiz.

Kovanda Kovalama Nedir?

Kovalama, bir veri organizasyon tekniğidir. Hive'da bölümleme ve kovalama oldukça benzer kavramlar olsa da, kovalama, büyük veri kümelerini kova adı verilen daha küçük ve daha yönetilebilir kümelere bölmenin ek işlevselliğini sunar.

Hive'da kovalama ile, bir tablo veri setini daha küçük parçalara ayırarak daha kolay işlenmelerini sağlayabilirsiniz. Paketleme, benzer veri türlerini gruplamanıza ve bunları tek bir dosyaya yazmanıza olanak tanır, bu da tablolara katılırken veya veri okurken performansınızı artırır. Bu, çoğu zaman bölümleme ile kovalama kullanmamızın büyük bir nedenidir.

Kovalamayı Ne Zaman Kullanıyoruz?

Kovalama çok kullanışlı bir işlevdir. Daha önce kullanmadıysanız, bu işlevi ne zaman kullanacağınızı belirlemek için aşağıdaki noktaları göz önünde bulundurmalısınız:

• Bir sütunun kardinalitesi yüksek olduğunda, üzerinde bölümleme yapamayız. Çok yüksek sayıda bölüm, düğümdeki yükü artıracak çok fazla Hadoop dosyası oluşturacaktır. Bunun nedeni, düğümün her bölümün meta verilerini tutması gerekmesidir ve bu, o düğümün performansını etkiler.
• Sorgularınızda birkaç harita tarafı birleşimi varsa, kovalamayı kullanmalısınız. Harita tarafı birleştirme, azaltma işlevini kullanmadan yalnızca harita işlevini kullanarak iki tabloyu birleştirdiğiniz bir işlemdir.

Kovanda Kovalamanın Önemli Noktaları

Kovalama, karma işlevine dayanır, bu nedenle aşağıdaki önemli noktalara sahiptir:

• hash_function, sahip olduğunuz kovalama sütununun türüne bağlıdır.
• Aynı kovalı sütuna sahip Kayıtların aynı kovada saklanacağını unutmamalısınız.
• Bu işlev, bir tabloyu kovalara bölmek için Clustered By yan tümcesini kullanmanızı gerektirir.
• Tablo dizininde Kova numaralandırması 1 tabanlıdır ve her kova bir dosyadır.
• Kovalama bağımsız bir işlevdir. Bu, bir tabloda bölümleme gerçekleştirmeden kovalama gerçekleştirebileceğiniz anlamına gelir.
• Paketlenmiş bir tablo, neredeyse eşit olarak dağıtılmış veri dosyası bölümleri oluşturur.
• Paketlemenin, tablonuzun uygun şekilde doldurulmasını sağlamadığını unutmayın. Bu nedenle, kovalara Veri Yüklemeyi kendiniz yönetmeniz gerekecek, bu da zahmetli olabilir.

Okuyun: Hive Vs Spark

Kovanda Kovalama: Örnek #1

Bir örnek kullanarak Hive'da kovalamayı anlamak en iyisi olacaktır. Örneğimiz için aşağıdaki verileri kullanacağız:

Örnek verilerimiz bir spor takımı için çalışan bilgilerini içerir. Ancak, çalışanların bir kısmı herhangi bir ekibin parçası değildir.

İşte bu örnekle birlikte takip etmek için kopyalayıp yapıştırabileceğiniz örnek veriler:

id,Ad,Soyadı,Spor,Şehir,Ülke

1001, Emerry, Blair, Basketbol, ​​Qutubullapur, San Marino

1002, Zephr, Stephenson, Cricket, Neerharen, Dominik Cumhuriyeti

1003, Sonbahar, Fasulye, Basketbol, ​​Neerharen, Dominik Cumhuriyeti

1004, Kasimir, Vance, Badminton, Neerharen, Dominik Cumhuriyeti

1005, Mufutau, Flores, Qutubullapur, San Marino

1006, Ayanna, Bankalar, Futbol, ​​Neerharen, Dominik Cumhuriyeti

1007, Selma, Top, Tenis, Qutubullapur, San Marino

1008, Berk, Fuller, Badminton, Neerharen, Dominik Cumhuriyeti

1009,Imogene,Terrell,,Qutubullapur,San Marino

1010, Colorado, Hutchinson, Tenis, Qutubullapur, San Marino

Paketlemenin, optimizasyon için veri kümelerini daha küçük bölümlere ayırmamıza izin verdiğini zaten biliyoruz. Şimdi bu işlemin nasıl tamamlandığını tartışalım:

Temel Tabloyu Oluşturma

İlk önce, çalışan_base adlı bir tablo oluşturacağız:

TABLO OLUŞTUR db_bdpbase.employee_base (

boş INT,

ilk ad STRING,

soyadı STRING,

spor STRING,

şehir STRING,

ülke STRING

)

SIRA BİÇİMİ AYRILMIŞ

',' İLE SONLANDIRILMIŞ ALANLAR

METİN DOSYASI OLARAK DEPOLANIR

TBLPROPERTIES(“skip.header.line.count”=”1”);

Örnek verilerimizin kovalama için gerekli olmayan bir başlığı var, bu yüzden 'başlığı atla' özelliğini ekleyerek onu kaldıracağız.

Verileri Temel Tabloya Yükleme

Örnek verilerimiz için '/usr/bdp/Hive/sample_data.csv' konumunu kullanacağız ve tabloya yüklemek için aşağıdaki komutu kullanacağız:

VERİ GİRİŞİ '/user/bdp/hive/sample_data.csv' TABLOSUNA YÜKLE db_bdpbase.employee_base;

Kovalı Tablonun Oluşturulması

Bu bölümde, kovalanmış bir tablo oluşturacağız. Artık bölmeli veya bölmesiz bir kovalı tablo yapabiliriz.

Bölmeli Kovalı Masa

Bu durumda, ülke bölüm sütunudur ve artan düzende sıraladığımız boş sütunu kovaladık:

TABLO OLUŞTUR db_bdpbase.bucketed_partition_tbl (

boş INT,

ilk ad STRING,

soyadı STRING,

spor STRING,

şehir STRING

) BÖLÜMLENEN (country STRING)

KÜMELENEN (boş)

(boş ASC) 4 KOVA İÇİNDE AYRILMIŞTIR;

Bölmesiz Kovalı Masa

Alternatif olarak, bölmesiz bir kovalı tablo oluşturabiliriz:

TABLO OLUŞTUR db_bdpbase.bucketed_tbl_only (

boş INT,

ilk ad STRING,

soyadı STRING,

şehir STRING,

Ülke STRING

)

KÜMELENEN (boş)

(boş ASC) 4 KOVA İÇİNDE AYRILMIŞTIR;

Burada, tabloyu empid ile aynı sütuna yerleştirdik.

Özelliği Ayarlama

Hive'da kovalama için varsayılan ayar devre dışıdır, bu nedenle değerini true olarak ayarlayarak etkinleştirdik. Aşağıdaki özellik, tabloya göre kümelerin ve redüktörlerin sayısını seçer:

SET kovan.enforce.bucketing=DOĞRU; (Hive 2.x ve sonrasında gerekli DEĞİLDİR)

Kovalı Tabloya Veri Yükleme

Şimdiye kadar, örnek verilerimizle iki kovalı tablo ve bir temel tablo oluşturduk. Şimdi, bölmeli kovalı tabloda aşağıdaki komutu kullanarak verileri temel tablodan kovalanmış tabloya yükleyeceğiz:

ÜZERİNE YAZMA TABLOSU EKLE db_bdpbase.bucketed_partition_tbl PARTITION (ülke) SELECT * FROM db_bdpbase.employee_base;

Herhangi bir bölüm olmadan kovalanmış tabloya veri yüklemek için aşağıdaki komutu kullanacağız:

ÜZERİNE YAZMA TABLOSU EKLE db_bdpbase.bucketed_tbl_only SELECT * FROM db_bdpbase.employee_base;

Paketlenmiş Tablo Verilerini Kontrol Etme

Verileri kovalanmış tabloya yükledikten sonra, HDFS'de nasıl saklandığını kontrol edeceğiz. Bölümlü kovalanmış tabloyu kontrol etmek için aşağıdaki kodu kullanacağız:

hadoop fs -ls hdfs://sandbox.hortonworks.com:8020/apps/hive/warehouse/db_bdpbase.db/bucketed_partition_tbl

Paketlenmiş Tablolarda Veri Depolama

Her veri noktası, aşağıdaki formüle göre belirli bir veri noktasıyla eşlenir:

hash_function(bucket_column) modu num_bucket

Şimdi, ülke bazında bölümlendirdiğimiz ilk tabloyu düşünün, örnek verilerimiz aşağıdaki bölümlere ayrılacaktır:

Domincan Republic için her satır kovada depolanacak:

hash_function(1002) modu 4 = 2 (Kepçe indeksini temsil eder)

hash_function(1003) modu 4 = 3

hash_function(1004) modu 4 = 0

hash_function(1006) modu 4 = 2

hash_function(1008) modu 4 = 0

INT değerinin hash_function değerinin size aynı sonucu vereceğini unutmayın. HDFS konumunda her dosyadaki verileri kontrol edebilirsiniz. Dilerseniz bu işlemi veritabanında bulunan diğer ülkeler için de tekrarlayabilirsiniz.

Kovanda Kovalama: Örnek #2

Bu işlevin uygulanmasında mevcut olan çeşitli adımları ve prosedürleri zaten ele aldığımız için, bunu kolayca deneyebiliriz. Aşağıdaki, Hive'da kovalamanın basit bir örneğidir. Burada, daha kolay yönetebilmemiz için yalnızca mevcut verileri farklı bölümlere ayırdık:

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> aylık_taxi_fleet6 tablosu oluştur

. . . . . . . . . . . . . . . . . . . . . . .> (ay karakter(7),fleet smallint,şirket varchar(50))

. . . . . . . . . . . . . . . . . . . . . . .> (şirket) tarafından 3 grup halinde kümelenmiştir

. . . . . . . . . . . . . . . . . . . . . . .> avro olarak saklanır;

Apache Hive sürüm 1.1.0-cdh5.13.1, varsayılan olarak hive.enforce.bucketing=false kullanan örnek

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> Month_taxi_fleet6 içine ekleyin

. . . . . . . . . . . . . . . . . . . . . . .> Month_taxi_fleet'ten ay, filo, şirket seçin;

[upgrad@cdh-vm ~]$ hdfs dfs -ls -R /user/Hive/warehouse/monthly_taxi_fleet6

-rwxrwxrwt 1 yükseltme kovanı 25483 2017-12-26 10:40 /user/Hive/warehouse/monthly_taxi_fleet6/000000_0

— hive.enforce.bucketing: Kovalamanın zorunlu olup olmadığı. True ise, tabloya eklerken kovalama uygulanır.

— Varsayılan Değer: Hive 0.x: false, Hive 1.x: false, Hive 2.x: kaldırıldı, bu da onu her zaman doğru yapar (HIVE-12331)

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> hive.enforce.bucketing=true'yu ayarla;

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> Month_taxi_fleet6 içine ekleyin

. . . . . . . . . . . . . . . . . . . . . . .> Month_taxi_fleet'ten ay, filo, şirket seçin;

[upgrad@cdh-vm ~]$ hdfs dfs -ls -R /user/Hive/warehouse/monthly_taxi_fleet6

-rwxrwxrwt 1 yükseltme kovanı 13611 2017-12-26 10:43 /user/Hive/warehouse/monthly_taxi_fleet6/000000_0

-rwxrwxrwt 1 yükseltme kovanı 6077 2017-12-26 10:43 /user/Hive/warehouse/monthly_taxi_fleet6/000001_0

-rwxrwxrwt 1 yükseltme kovanı 6589 2017-12-26 10:43 /user/Hive/warehouse/monthly_taxi_fleet6/000002_0

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> genişletilmiş aylık_taxi_fleet6'yı tanımlar;

+—————————–+————————————————+———-+–+

| sütun_adı | data_type | yorum |

+—————————–+————————————————+———-+–+

| ay | karakter(7) | |

| filo | int | |

| şirket | varchar(50) | |

| | BOŞ | BOŞ |

| Ayrıntılı Tablo Bilgileri | Table(tableName:monthly_taxi_fleet6, dbName:default, Owner:upgrad, createTime:1514256031, lastAccessTime:0, saklama:0, sd:StorageDescriptor(cols:[FieldSchema(name:ay, type:char(7), yorum:null) , FieldSchema(ad:filo, tür:smallint, yorum:null), FieldSchema(ad:şirket, tür:varchar(50), yorum:null)], konum:hdfs://cdh-vm.dbaglobe.com:8020 /user/Hive/warehouse/monthly_taxi_fleet6, inputFormat:org.Apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat, outputFormat:org.Apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat, sıkıştırılmış:Bufalse, num :3, serdeInfo:SerDeInfo(name:null, serializationLib:org.apache.hadoop.hive.serde2.avro.AvroSerDe, parametreler:{serialization.format=1}), kovaCols:[şirket], sortCols:[], parametreler :{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[], skewedColValueLocationMaps:{}), depolananAsSubDirectories:false), partitionKeys:[], parametreler:{totalSize=26277, num_28,Num_ACCRows =true, numFiles=3, tra nsient_lastDdlTime=1514256192}, viewOriginalText:null, viewExpandedText:null, tableType:MANAGED_TABLE) | |

+—————————–+————————————————+———-+–+

5 satır seçildi (0.075 saniye)

Ödeme: Temel Kovan Mülakat Soruları

Kovanda Kovalama: Örnek 3

Aşağıda, Hive'da kovalamanın biraz gelişmiş bir örneği verilmiştir. Burada, verileri daha erişilebilir hale getirmek için bölümleme yaptık ve Sıralama Ölçütü işlevini kullandık. Bu, kovalamanın en büyük avantajlarından biridir. Büyük veri kümelerini daha verimli ve etkili bir şekilde yönetmek için diğer işlevlerle birlikte kullanabilirsiniz.

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> tablo oluştur aylık_taxi_fleet7

. . . . . . . . . . . . . . . . . . . . . . .> (ay karakter(7),fleet smallint)

. . . . . . . . . . . . . . . . . . . . . . .> tarafından bölümlenmiş (şirket varchar(50))

. . . . . . . . . . . . . . . . . . . . . . .> (ay) ölçütüne göre kümelenmiş ve (ay) ölçütüne göre 3 bölmeye ayrılmıştır

. . . . . . . . . . . . . . . . . . . . . . .> avro olarak saklanır;

0: jdbc:hive2://cdh-vm.dbaglobe.com:10000/def> Month_taxi_fleet7 içine ekleyin

. . . . . . . . . . . . . . . . . . . . . . .> bölüm (şirket)

. . . . . . . . . . . . . . . . . . . . . . .> Month_taxi_fleet'ten ay, filo, şirket seçin;

[upgrad@cdh-vm ~]$ hdfs dfs -ls -R /user/Hive/warehouse/monthly_taxi_fleet7

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=CityCab

-rwxrwxrwt 1 yükseltme Hive 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=CityCab/000000_0

-rwxrwxrwt 1 yükseltme Hive 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=CityCab/000001_0

-rwxrwxrwt 1 yükseltme Hive 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=CityCab/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Comfort

-rwxrwxrwt 1 yükseltme Hive 913 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Comfort/000000_0

-rwxrwxrwt 1 yükseltme Hive 913 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Comfort/000001_0

-rwxrwxrwt 1 yükseltme Hive 913 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Comfort/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Bireysel Sarı- Üst

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/hive/warehouse/monthly_taxi_fleet7/company=Bireysel Sarı- Üst/000000_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Bireysel Sarı- Üst/000001_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Bireysel Sarı- Üst/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Premier

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Premier/000000_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Premier/000001_0

-rwxrwxrwt 1 yükseltme Hive 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Premier/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Prime

-rwxrwxrwt 1 yükseltme Hive 765 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Prime/000000_0

-rwxrwxrwt 1 yükseltme Hive 765 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Prime/000001_0

-rwxrwxrwt 1 yükseltme kovanı 766 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Prime/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=SMRT

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=SMRT/000000_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=SMRT/000001_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=SMRT/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Smart

-rwxrwxrwt 1 yükseltme kovanı 720 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Smart/000000_0

-rwxrwxrwt 1 yükseltme kovanı 719 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Smart/000001_0

-rwxrwxrwt 1 yükseltme kovanı 719 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=Smart/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=TransCab

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=TransCab/000000_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=TransCab/000001_0

-rwxrwxrwt 1 yükseltme kovanı 865 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=TransCab/000002_0

drwxrwxrwt – kovanı yükseltme 0 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=YTC

-rwxrwxrwt 1 yükseltme kovanı 432 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=YTC/000000_0

-rwxrwxrwt 1 yükseltme kovanı 432 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=YTC/000001_0

-rwxrwxrwt 1 yükseltme kovanı 432 2017-12-26 11:05 /user/Hive/warehouse/monthly_taxi_fleet7/company=YTC/000002_0

Hive'da Bölümleme ve Paketleme Hakkında Daha Fazla Bilgi Edinin

Daha önce paylaştığımız örneklerde, Hive'da bölümleme ve kovalama işlemlerini birden çok şekilde gerçekleştirdik ve bunları Hive'da nasıl uygulayabileceğinizi öğrendik. Bununla birlikte, Apache Hive'ın birçok başka işlevi vardır ve bunların hepsini öğrenmek oldukça göz korkutucu olabilir.

Bu yüzden bir veri mühendisliği kursu almanızı öneririz. Bu sektörde yıllarını geçirmiş sektör uzmanlarından eğitim almanıza olanak tanır. Bir kurs size her şeyi adım adım öğreneceğiniz yapılandırılmış bir müfredat sağlar. upGrad'da özel veri mühendisliği kursları sunuyoruz .

Kurslarımızla, kişiselleştirilmiş özgeçmiş geri bildirimi, görüşme hazırlığı, kariyer danışmanlığı ve diğer birçok avantaj elde ettiğiniz upGrad'ın Öğrenci Başarı Köşesine erişebilirsiniz.

Kursu tamamladıktan sonra, yetenekli bir veri mühendisliği uzmanı olacaksınız.

Çözüm

Hive'da kovalama işlemi çok basit ve gerçekleştirmesi kolaydır. Büyük veri kümeleri için kesinlikle yararlı bir işlevdir. Ancak Hive'da hem bölümleme hem de kovalama işlemini birlikte yaptığınızda, oldukça büyük veri kümelerini çok kolay bir şekilde yönetebilirsiniz.

Büyük Veri Programı hakkında daha fazla bilgi edinmek istiyorsanız, çalışan profesyoneller için tasarlanmış ve 7+ vaka çalışması ve proje sağlayan, 14 programlama dilini ve aracını, pratik elleri kapsayan Büyük Veride Yazılım Geliştirme Uzmanlığı programında PG Diplomamıza göz atın. atölyelerde, en iyi firmalarla 400 saatten fazla titiz öğrenim ve işe yerleştirme yardımı.

Kovalama ile ilgili herhangi bir sorunuz veya düşünceniz varsa, bunları aşağıdaki yorumlarda paylaşın. Sizden haber almak isteriz.

upGrad'daki diğer Yazılım Mühendisliği Kurslarımıza göz atın.