溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
部署：分為測試環境、生產環境。
Hadoop發行版本：Apache、CDH（tar包、rpm包、parcel包，必須由cloudera manager進行管理）、HDP
注意：大數據框架內禁用IPV6；同時要修改用戶的最大進程數、單個進程打開的最大文件數量；
Hadoop 2 三大組件：1. HDFS 2.MapReduce 3 YARN
HDFS：分布式文件系統，從功能上分為namenode、datanode。其中，namenode用于存放集群元數據，例如文件名稱層、文件存放在哪個datanode之上、有沒有進行切片等；數據是以block形式存儲；namenode中數據存放在內存中、本地磁盤包括鏡像文件、編輯日志；以塊為單位存儲，在V2中默認大小是128MB；datanode與namenode之間會發送心跳（證明存活狀態，默認是每隔3秒鐘，在心跳返回結果中含有namenode發送給datanode的指令，如復制或刪除數據塊）、塊狀態報告（默認是每隔一個小時上報一次）等，是通過底層協議如RPC進行通信；副本默認是3，默認策略是其中兩個副本在同一個rack不同節點，第三個副本在不同的rack上；
YARN架構：分為node manager（每一個節點）、resource manager（管理整個集群）
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
