tft每日頭條

 > 生活

 > hadoop的存儲系統mapreduce

hadoop的存儲系統mapreduce

生活 更新时间:2024-11-25 21:17:18

hadoop的存儲系統mapreduce(Hadoop的mapreduce任務運行原理)1

Hadoop任務運行原理

a>.客戶端,提交MapReduce作業;

    b>.YARN資源管理器,負責協調集群上計算機資源的分配;

    c>.YARN節點管理器,負責啟動和監視集群中機器上的計算容器(container);

    d>.MapReduce 的 application master,負責協調運行MapReduce 作業的任務。它和MapReduce任務在容器中運行,這些容器由資源管理器分配并由節點管理器進行管理;

    e>.分布式文件系統(一般為HDFS),用來與其他實體間共享作業信息;

一.任務運行過程

driver端将任務提交給某一個dateNode即我們得客戶端,與此同時,起一個ApplicationMaster進程來來檢測任務執行狀态,并負責任務起停,資源管理器收到有任務來,查看資源且讓schedule分配container,來運行任務,當任務運行結束時A p p li cationMaster進程來彙報任務執行狀态 收到反饋後自己也被銷毀,任務運行結束

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关生活资讯推荐

热门生活资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved