前 10 名 Hadoop 命令 [有用法]
已發表: 2021-01-29在這個擁有大量數據的時代，處理它們變得至關重要。 來自客戶不斷增長的組織所產生的數據比任何傳統數據管理工具所能存儲的都要大得多。 它給我們留下了管理更大數據集的問題，這些數據的範圍可能從千兆字節到 PB 不等，而無需使用單個大型計算機或傳統的數據管理工具。
這就是 Apache Hadoop 框架引人注目的地方。 在深入研究 Hadoop 命令實現之前，讓我們簡要了解一下 Hadoop 框架及其重要性。
目錄
什麼是 Hadoop？
Hadoop 被主要的商業組織用來解決各種問題，從每天存儲大 GB（千兆字節）的數據到對數據的計算操作。
傳統上定義為用於存儲數據和處理應用程序的開源軟件框架，Hadoop 在大多數傳統數據管理工具中脫穎而出。 它通過在框架中添加一些節點來提高計算能力並擴展數據存儲限制，使其具有高度可擴展性。 此外，您的數據和應用程序進程受到保護，免受各種硬件故障的影響。
Hadoop 遵循主從架構，使用 MapReduce 和 HDFS 分發和存儲數據。 如下圖所示，該架構以定義的方式定制，以使用四個主要節點（即名稱、數據、主節點和從節點）執行數據管理操作。 Hadoop 的核心組件直接構建在框架之上。 其他組件直接與段集成。
資源
Hadoop 命令
Hadoop 框架的主要特性表現出連貫性，並且在通過學習 Hadoop 命令來管理大數據時變得更加用戶友好。 下面是一些方便的 Hadoop 命令，它們允許執行各種操作，例如管理和 HDFS 集群文件處理。 經常需要此命令列表來實現某些過程結果。
1. Hadoop Touchz
hadoop fs -touchz /目錄/文件名
該命令允許用戶在 HDFS 集群中創建一個新文件。 命令中的“目錄”是指用戶希望創建新文件的目錄名，“文件名”表示命令完成後將創建的新文件的名稱。
2.Hadoop測試命令
hadoop fs -test -[defsz] <路徑>
這個特定的命令實現了測試 HDFS 集群中文件是否存在的目的。 必鬚根據需要修改命令中“[defsz]”中的字符。 以下是這些字符的簡要說明：
- d -> 檢查它是否是一個目錄
- e -> 檢查它是否是路徑
- f -> 檢查它是否是一個文件
- s -> 檢查它是否為空路徑
- r -> 檢查路徑是否存在和讀取權限
- w -> 檢查路徑是否存在和寫權限
- z -> 檢查文件大小
3.Hadoop文本命令
hadoop fs -text <src>
text 命令對於以文本格式顯示分配的 zip 文件特別有用。 它通過處理源文件並將其內容提供為純解碼文本格式來運行。
4. Hadoop 查找命令
hadoop fs -find <路徑> ... <表達式>
該命令一般用於在 HDFS 集群中搜索文件。 它使用集群中的所有文件掃描命令中的給定表達式，並顯示與定義的表達式匹配的文件。
閱讀：頂級 Hadoop 工具
5. Hadoop Getmerge 命令
hadoop fs -getmerge <src> <localdest>
Getmerge 命令允許在 HDFS 文件系統集群上的指定目錄中合併一個或多個文件。 它將文件累積到位於本地文件系統中的一個文件中。 “src”和“localdest”分別代表source-destination和localdestination的意思。
6. Hadoop 計數命令
hadoop fs -count [選項] <路徑>
就像它的名字一樣明顯，Hadoop count 命令計算給定目錄中的文件數和字節數。 有多種可用選項可根據要求修改輸出。 這些如下：
- q -> quota 顯示名稱總數和空間使用的限制
- u -> 僅顯示配額和使用情況
- h -> 給出文件的大小
- v -> 顯示標題
7. Hadoop AppendToFile 命令
hadoop fs -appendToFile <localsrc> <dest>
它允許用戶將一個或多個文件的內容附加到 HDFS 文件系統集群中指定目標文件的單個文件中。 在執行此命令時，給定的源文件會根據命令中的給定文件名附加到目標源中。
8. Hadoop ls 命令
hadoop fs -ls /路徑
Hadoop 中的 ls 命令顯示指定目錄（即路徑）中的文件/內容列表。 在 /path 前添加“R”時，輸出將顯示給定目錄中指定的每個文件的內容詳細信息，例如名稱、大小、所有者等。
9. Hadoop mkdir 命令
hadoop fs -mkdir /path/directory_name
該命令的獨特之處在於如果目錄不存在，則會在 HDFS 文件系統集群中創建目錄。 此外，如果指定的目錄存在，則輸出消息將顯示表示該目錄存在的錯誤。
10. Hadoop chmod 命令
hadoop fs -chmod [-R] <模式> <路徑>
當需要更改訪問特定文件的權限時使用此命令。 在給出 chmod 命令時，指定文件的權限被更改。 但是，重要的是要記住，當文件所有者執行此命令時，權限將被修改。
另請閱讀： Impala Hadoop 教程
結論
本文從當今世界各大組織面臨的重要數據存儲問題入手，通過介紹Hadoop，討論了有限數據存儲的解決方案及其對使用Hadoop命令進行數據管理操作的影響。 對於 Hadoop 的初學者，將描述框架的概述及其組件和架構。
閱讀本文後，您可以輕鬆地對自己在 Hadoop 框架及其應用命令方面的知識充滿信心。 upGrad 在大數據方面的獨家 PG 認證：upGrad 提供針對行業特定的 7.5 個月的大數據 PG 認證計劃，您將通過 IIIT-Bangalore 組織、分析和解釋大數據。
專為在職專業人士設計，它將幫助學生獲得實用知識並促進他們進入大數據角色。
節目亮點：
- 學習相關語言和工具
- 學習分佈式編程、大數據平台、數據庫、算法和網絡挖掘的高級概念
- 來自 IIIT 班加羅爾的認可證書
- 安置援助以吸引頂級跨國公司
- 1:1 指導，跟踪您的進度並在每一點為您提供幫助
- 處理實時項目和任務
資格：數學/軟件工程/統計/分析背景
在 upGrad 查看我們的其他軟件工程課程。