トップ10のHadoopコマンド[使用法あり]
公開: 2021-01-29膨大な量のデータが存在するこの時代では、それらに対処することが不可欠になります。 顧客が増えている組織から発生するデータは、従来のデータ管理ツールが保存できるよりもはるかに大きくなります。 単一の大型コンピューターや従来のデータ管理ツールを使用せずに、ギガバイトからペタバイトに及ぶ可能性のあるより大きなデータセットを管理するという問題が残ります。
ここで、ApacheHadoopフレームワークが脚光を浴びています。 Hadoopコマンドの実装に飛び込む前に、Hadoopフレームワークとその重要性を簡単に理解しましょう。
目次
Hadoopとは何ですか？
Hadoopは、大規模なGB（ギガバイト）のデータを毎日保存することから、データの計算操作まで、さまざまな問題を解決するために主要なビジネス組織で一般的に使用されています。
従来、データの保存とアプリケーションの処理に使用されるオープンソースソフトウェアフレームワークとして定義されていたHadoopは、従来のデータ管理ツールの大部分から非常に際立っています。 フレームワークにいくつかのノードを追加することで、コンピューティング能力を向上させ、データストレージの制限を拡張して、拡張性を高めます。 さらに、データおよびアプリケーションプロセスは、さまざまなハードウェア障害から保護されます。
Hadoopは、マスタースレーブアーキテクチャに従って、MapReduceとHDFSを使用してデータを配布および保存します。 次の図に示すように、アーキテクチャは、名前、データ、マスター、およびスレーブの4つのプライマリノードを使用してデータ管理操作を実行するように定義された方法で調整されます。 Hadoopのコアコンポーネントは、フレームワークの上に直接構築されています。 他のコンポーネントは、セグメントと直接統合されます。
ソース
Hadoopコマンド
Hadoopフレームワークの主な機能は一貫性のある性質を示しており、Hadoopコマンドを学習してビッグデータを管理する場合はよりユーザーフレンドリーになります。 以下は、管理やHDFSクラスターのファイル処理などのさまざまな操作を実行できる便利なHadoopコマンドです。 このコマンドのリストは、特定のプロセス結果を達成するために頻繁に必要になります。
1. Hadoop Touchz
hadoop fs -touchz / directory / filename
このコマンドを使用すると、ユーザーはHDFSクラスターに新しいファイルを作成できます。 コマンドの「ディレクトリ」は、ユーザーが新しいファイルを作成したいディレクトリ名を指し、「ファイル名」は、コマンドの完了時に作成される新しいファイルの名前を示します。
2.Hadoopテストコマンド
hadoop fs-test-[defsz]<パス>
この特定のコマンドは、HDFSクラスター内のファイルの存在をテストするという目的を果たします。 コマンドの「[defsz]」の文字は、必要に応じて変更する必要があります。 これらの文字の簡単な説明は次のとおりです。
- d->ディレクトリかどうかを確認します
- e->パスかどうかを確認します
- f->ファイルかどうかを確認します
- s->空のパスかどうかを確認します
- r->パスの存在と読み取り権限を確認します
- w->パスの存在と書き込み権限を確認します
- z->ファイルサイズを確認します
3.Hadoopテキストコマンド
hadoop fs -text <src>
textコマンドは、割り当てられたzipファイルをテキスト形式で表示する場合に特に便利です。 ソースファイルを処理し、そのコンテンツをプレーンデコードされたテキスト形式で提供することで動作します。
4.Hadoop検索コマンド
hadoop fs-find<パス>…<式>
このコマンドは通常、HDFSクラスター内のファイルを検索する目的で使用されます。 コマンド内の指定された式をクラスター内のすべてのファイルでスキャンし、定義された式に一致するファイルを表示します。
読む：トップHadoopツール
5.HadoopGetmergeコマンド
hadoop fs -getmerge <src> <localdest>
Getmergeコマンドを使用すると、HDFSファイルシステムクラスタの指定されたディレクトリにある1つまたは複数のファイルをマージできます。 ローカルファイルシステムにある単一のファイルにファイルを蓄積します。 「src」と「localdest」は、送信元の宛先とローカルの宛先の意味を表します。
6.Hadoopカウントコマンド
hadoop fs-count[オプション]<パス>
その名前から明らかなように、Hadoop countコマンドは、特定のディレクトリ内のファイルとバイトの数をカウントします。 要件に応じて出力を変更するさまざまなオプションを利用できます。 これらは次のとおりです。
- q->クォータは、名前の総数とスペースの使用量の制限を示します
- u->クォータと使用量のみを表示します
- h->ファイルのサイズを示します
- v->ヘッダーを表示
7.HadoopAppendToFileコマンド
hadoop fs -appendToFile <localsrc> <dest>
これにより、ユーザーは1つまたは複数のファイルのコンテンツをHDFSファイルシステムクラスター内の指定された宛先ファイル上の単一のファイルに追加できます。 このコマンドを実行すると、コマンドの指定されたファイル名に従って、指定されたソースファイルが宛先ソースに追加されます。
8.Hadooplsコマンド
hadoop fs -ls / path
Hadoopのlsコマンドは、指定されたディレクトリ、つまりパス内のファイル/コンテンツのリストを表示します。 / pathの前に「R」を追加すると、出力には、指定されたディレクトリで指定された各ファイルの名前、サイズ、所有者などのコンテンツの詳細が表示されます。
9.Hadoopmkdirコマンド
hadoop fs -mkdir / path / directory_name
このコマンドのユニークな機能は、ディレクトリが存在しない場合にHDFSファイルシステムクラスタにディレクトリを作成することです。 さらに、指定されたディレクトリが存在する場合、出力メッセージには、ディレクトリの存在を示すエラーが表示されます。
10.Hadoopchmodコマンド
hadoop fs -chmod[-R]<モード><パス>
このコマンドは、特定のファイルにアクセスするためのアクセス許可を変更する必要がある場合に使用されます。 chmodコマンドを実行すると、指定したファイルの権限が変更されます。 ただし、ファイル所有者がこのコマンドを実行すると、アクセス許可が変更されることに注意してください。
また読む： ImpalaHadoopチュートリアル
結論
この記事では、今日の世界の主要な組織が直面しているデータストレージの重要な問題から始めて、Hadoopを紹介することによる制限付きデータストレージのソリューションと、Hadoopコマンドを使用したデータ管理操作の実行への影響について説明しました。 Hadoopの初心者向けに、フレームワークの概要とそのコンポーネントおよびアーキテクチャについて説明します。
この記事を読んだ後は、Hadoopフレームワークとその適用コマンドの側面に関する知識に自信を持って簡単に感じることができます。 upGradのビッグデータでの独占的なPG認定：upGradは、ビッグデータでのPG認定のための業界固有の7.5か月プログラムを提供します。このプログラムでは、IIIT-Bangaloreを使用してビッグデータを整理、分析、および解釈します。
働く専門家のために注意深く設計されており、学生が実践的な知識を習得し、ビッグデータの役割への参入を促進するのに役立ちます。
プログラムのハイライト：
- 関連する言語とツールを学ぶ
- 分散プログラミング、ビッグデータプラットフォーム、データベース、アルゴリズム、およびWebマイニングの高度な概念を学ぶ
- IIITバンガロアからの認定証明書
- トップMNCに夢中になるための配置支援
- あなたの進歩を追跡し、あらゆる点であなたを支援するための1：1のメンターシップ
- ライブプロジェクトと割り当てに取り組んでいます
資格：数学/ソフトウェア工学/統計/分析の背景
upGradで他のソフトウェアエンジニアリングコースを確認してください。