Hadoop任務運行原理
a>.客戶端,提交MapReduce作業;
b>.YARN資源管理器,負責協調集群上計算機資源的分配;
c>.YARN節點管理器,負責啟動和監視集群中機器上的計算容器(container);
d>.MapReduce 的 application master,負責協調運行MapReduce 作業的任務。它和MapReduce任務在容器中運行,這些容器由資源管理器分配并由節點管理器進行管理;
e>.分布式文件系統(一般為HDFS),用來與其他實體間共享作業信息;
一.任務運行過程
driver端将任務提交給某一個dateNode即我們得客戶端,與此同時,起一個ApplicationMaster進程來來檢測任務執行狀态,并負責任務起停,資源管理器收到有任務來,查看資源且讓schedule分配container,來運行任務,當任務運行結束時A p p li cationMaster進程來彙報任務執行狀态 收到反饋後自己也被銷毀,任務運行結束
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!