hdfs如何分塊-tft每日頭條

hdfs如何分塊

生活更新时间:2024-07-24 03:19:43

背景

HDFS數據可能并不總是在DataNode之間均勻分布。一個常見的原因是向現有群集中添加了新的DataNode。HDFS提供了一個Balancer程序，分析block放置信息并且在整個DataNode節點之間平衡數據，直到被視為平衡為止。

所謂的平衡指的是每個DataNode的利用率（節點上已用空間與節點總容量之比）與集群的利用率（集群上已用空間與集群總容量的比）相差不超過給定阈值百分比。平衡器無法在單個DataNode上的各個卷之間進行平衡。

hdfs如何分塊（HDFSBlock負載平衡器Balancer）1

平衡前和平衡後對比圖

命令行配置和運行

hdfs如何分塊（HDFSBlock負載平衡器Balancer）2

-threshold 10 //集群平衡的條件，datanode間磁盤使用率相差阈值，區間選擇：0~100

-policy datanode //平衡策略，默認為datanode，如果datanode平衡，則集群已平衡。

-exclude -f /tmp/ip1.txt //默認為空，指定該部分ip不參與balance， -f：指定輸入為文件

-include -f /tmp/ip2.txt //默認為空，隻允許該部分ip參與balance，-f：指定輸入為文件

-idleiterations 5 //疊代 5

設置平衡數據傳輸帶寬

命令：hdfs dfsadmin -setBalancerbandwidth newbandwidth

其中newbandwidth是每個DataNode在平衡操作期間可以使用的最大網絡帶寬量，以每秒字節數為單位。

比如：hdfs dfsadmin -setBalancerBandwidth 104857600

默認運行balancer

命令：hdfs balancer

此時将會以默認參數進行數據塊的平衡操作。

修改阈值運行balancer

命令：hdfs balancer -threshold 5

Balancer将以阈值5％運行（默認值10%），這意味着程序将确保每個DataNode上的磁盤使用量與群集中的總體使用量相差不超過5％。例如，如果集群中所有DataNode的總體使用率是集群磁盤總存儲容量的40％，則程序将确保每個DataNode的磁盤使用率在該DataNode磁盤存儲容量的35％至45％之間。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部

网友关注

生活家裡應該養什麼花
家裡應該養什麼花?紅掌家裡非常适合種植紅掌花，紅掌花是一種觀賞性很強的植物，它的葉片碧綠，花朵的顔色為紅色，十分精緻可愛，觀賞價值極高紅掌還能淨化家裡的空氣，吸收家裡的有毒物質它對光照需求也不高，非常适合在家裡養殖，下面我們就來聊聊關于家裡... 2022-06-19
生活如何做簡單的金魚饅頭
如何做簡單的金魚饅頭?食材：面粉300g，酵母10g将面粉加酵母，和好面，做成發面面團，取小劑子，我來為大家科普一下關于如何做簡單的金魚饅頭?下面希望有你要的答案，我們一起來看看吧!如何做簡單的金魚饅頭食材：面粉300g，酵母10g。将面粉... 2022-06-21
生活美縫劑有甲醛嗎
美縫劑有甲醛嗎?美縫劑有沒有甲醛要看你使用什麼樣的産品，一般質量好的美縫劑都是采用進口原料做制成的，在産品品質方面有一定的保證，是不含甲醛這種有害物質的但如果使用的是劣質美縫劑就含有甲醛等有害物質了，需要采用儀器測量才能知道含量高不高，今天... 2022-06-12
生活一個鵝蛋的熱量
一個鵝蛋的熱量?一個鵝蛋的重量大概在250克左右，含有的熱量達到400大卡左右，我來為大家科普一下關于一個鵝蛋的熱量?以下内容希望對你有幫助!一個鵝蛋的熱量一個鵝蛋的重量大概在250克左右，含有的熱量達到400大卡左右。相對來說屬于熱量比較... 2022-06-24
生活黃油表面氧化還能吃嗎
黃油表面氧化還能吃嗎?黃油表面氧化了可以吃，理論上隻要黃油沒有油水分離，嘗起來沒有酸味、苦味，都還是可以食用的若擔心黃油氧化滋生細菌，可嘗試将黃油氧化的地方切掉，然後再使用即可，接下來我們就來聊聊關于黃油表面氧化還能吃嗎?以下内容大家不妨參... 2022-08-04
生活波士頓龍蝦裡面黑黑的是什麼
波士頓龍蝦裡面黑黑的是什麼?波士頓龍蝦頭殼裡黑色的顆粒是排洩物和寄生蟲龍蝦全身除了一根腸子外幾乎沒有其它器官，所有的器官都集中于頭部其中包括有胃、肝髒、心髒、一對精巢/卵巢、排洩器官觸角腺以及膀胱和排洩孔如果龍蝦所處的生長環境不好，蝦頭會富... 2022-06-06
生活三文魚是海魚嗎
三文魚是海魚嗎?三文魚是海魚作為海魚，它們也符合海魚的基本特征，可以很好地适應海水環境，而且絕大多數時間都生活在海水中三文魚本身是冷水性魚，喜歡生活在水溫較低的海水中，因而一般分布在緯度較高的海域，比如太平洋北部不過，三文魚并非一直生活在海... 2022-06-09
生活優酷會員怎麼關閉自動續費
優酷會員怎麼關閉自動續費?點擊手機主頁面上的優酷APP，進入後，點擊我的，點擊登錄與注冊，下面我們就來聊聊關于優酷會員怎麼關閉自動續費?接下來我們就一起去了解一下吧!優酷會員怎麼關閉自動續費點擊手機主頁面上的優酷APP，進入後，點擊我的，點... 2022-08-03
生活周星馳和陳百祥誰受歡迎
周星馳和陳百祥合作過的電影最經典的莫過鹿鼎記和唐伯虎點秋香，兩人在電影中的表演珠聯璧合。如果說周星馳的喜劇才華來自于一個演員的自我修養，那麼陳百強的喜感則好像是與生俱來，觀衆們表示看見他就想笑，因此很多觀衆都認為兩人一定互相了解，私下的關系... 2022-11-14
生活佩戴開光飾品需注意的事項
佩戴開光飾品需注意的事項?洗澡睡覺要摘下；平常佩戴的時候，要經常觸摸貔貅；，下面我們就來聊聊關于佩戴開光飾品需注意的事項?接下來我們就一起去了解一下吧!佩戴開光飾品需注意的事項洗澡睡覺要摘下；平常佩戴的時候，要經常觸摸貔貅；佩戴貔貅吊墜，頭... 2022-08-02
生活新紅綠燈交通規則圖标及解說
您在閱讀前請點擊上面的“關注”二字，後續會第一時間為您提供更多有價值的相關内容，感謝您的支持。駕駛機動車的車主都知道，在外出的時候，要按照紅綠燈信号燈行駛，但是最近很多車主反映，在外出時發現紅綠燈發生了新的變化，多地采用了新國标紅綠燈，很多... 2022-11-12
生活紅楓哪個品種最珍貴
紅楓哪個品種最珍貴?紅楓中最珍貴的品種便是紅猩猩紅猩猩品種春夏秋季都呈現出猩紅色，在春季時紅猩猩的葉片為黑紅色，也是顔色最深的季節，其觀賞能力較高，被廣泛的運用到庭院之中，能夠美化裝飾環境，并且此品種不會出現返青的現象，我來為大家講解一下關... 2022-07-05
生活湯圓制作過程
湯圓制作過程?面團材料：糯米粉100克、開水50克花生餡材料：花生50克、糖30克、豬油40克，下面我們就來說一說關于湯圓制作過程?我們一起去了解并探讨一下這個問題吧!湯圓制作過程面團材料：糯米粉100克、開水50克。花生餡材料：花生50克... 2022-08-04
生活圓柱的表面積公式
圓柱的表面積公式?圓柱的表面積=側面積+兩個底面積=2πrh+2πr^2，我來為大家科普一下關于圓柱的表面積公式?以下内容希望對你有幫助!圓柱的表面積公式圓柱的表面積=側面積+兩個底面積=2πrh+2πr^2。圓柱(circularcyli... 2022-06-15
生活高鐵候補購票是什麼意思
高鐵候補購票是什麼意思?高鐵候補購票的意思是自己所需的票已經售空，在12306軟件上預付提交候補訂單，後期若是有人退票，系統會自動安排分配車票，這樣可以提高買票成功的幾率，通過此程序可以順利買到你所需的票，我來為大家科普一下關于高鐵候補購票... 2022-08-04
生活歲數越大骨頭越重還是越輕
歲數越大骨頭越重還是越輕?有人說，年齡越大“筋縮”越重，這種現象的确是存在的，我來為大家科普一下關于歲數越大骨頭越重還是越輕?下面希望有你要的答案，我們一起來看看吧!歲數越大骨頭越重還是越輕有人說，年齡越大“筋縮”越重，這種現象的确是存在的... 2022-10-21
生活馍頭的做法簡單
馍頭的做法簡單?首先，用一個小碗倒入200g溫水，将酵母粉放進去攪拌均勻，冷5分鐘左右，下面我們就來說一說關于馍頭的做法簡單?我們一起去了解并探讨一下這個問題吧!馍頭的做法簡單首先，用一個小碗倒入200g溫水，将酵母粉放進去攪拌均勻，冷5分... 2022-06-28
生活微信現在能看訪客記錄嗎
, 2022-10-25
生活龍之谷2暗元素增強是什麼意思
龍之谷2暗元素增強是什麼意思?暗元素增強指的是攻擊和技能輸出會添加暗元素屬性攻擊的加強，其他元素增強以此類推，現在小編就來說說關于龍之谷2暗元素增強是什麼意思?下面内容希望能幫助到你，我們來一起看看吧!龍之谷2暗元素增強是什麼意思暗元素增強... 2022-05-28
生活一棵綠蘿七個鬼
一棵綠蘿七個鬼?綠蘿是一種很便宜的盆栽，幾塊錢就能買一盆，好養又好看，還能淨化空氣，一些新裝修好的地房間裡，放上幾盆綠蘿，就能把家裡的空氣淨化的很幹淨，能提前入住的時間，所以養綠蘿的人是越來越多了，我來為大家科普一下關于一棵綠蘿七個鬼?下面... 2022-06-22
生活未婚妻突然去世了
李雯雯與周東因工作相識，兩人都不到20歲，年紀尚小，本不應該着急成家，但由于周東整日沉迷于遊戲，他的家人便希望他盡早成家，希望他有了老婆孩子之後，能夠收心，好好的工作，擔當起作為丈夫和父親的責任，于是兩人便在雙方家長的祝福下走到了一起。很快... 2022-11-13
生活空氣炸鍋烤帶魚如何做
空氣炸鍋真心的方便～今天第一次用它烤帶魚，也算炸帶魚吧～粉粉比較怕新鮮的….就直接買了凍帶魚。ByPinkLoves用料帶魚5塊蔥适量姜适量料酒适量黑胡椒适量玫瑰鹽1茶勺十三香1茶勺蚝油适量白醋1勺橄榄油适量做法步驟1、帶魚處理掉内髒洗淨在... 2022-10-31
生活森嚴壁壘的意思
森嚴壁壘的意思?森嚴壁壘，漢語成語，拼音是sēnyánbìlěi，原指軍事戒備嚴密，現也用來比喻彼此界限劃得很分明，下面我們就來說一說關于森嚴壁壘的意思?我們一起去了解并探讨一下這個問題吧!森嚴壁壘的意思森嚴壁壘，漢語成語，拼音是sēnyá... 2022-06-13
生活過獎了怎麼幽默的回複
過獎了怎麼幽默的回複?直接坦然接受可以說“謝謝你這麼說”、“謝謝你的稱贊”，或者“謝謝你看到了這一點”最起碼要給别人一個回應，起碼讓别人知道他（她）的贊美你有聽進心理了，并且很感謝對方的賞識，下面我們就來說一說關于過獎了怎麼幽默的回複?我們... 2022-08-23
生活西餐刀叉擺放
西餐刀叉擺放?先左叉右刀，先裡面在到外面刀口的方向要朝盤，各種餐具要成一條線，今天小編就來聊一聊關于西餐刀叉擺放?接下來我們就一起去研究一下吧!西餐刀叉擺放先左叉右刀，先裡面在到外面。刀口的方向要朝盤，各種餐具要成一條線。餐具要與菜肴搭配。... 2022-06-10
生活義烏戶外露營裝備批發
中國義烏網9月22日訊(記者陳佳琪編輯童曉)約上三五知己，在草地上搭一個天幕、一頂帳篷，在野餐墊上擺滿精緻的美食，坐在休閑椅上聊聊天……今年個性化、創新性十足的露營成為最火爆的休閑度假方式，随着國慶長假的臨近，義烏國際商貿城帳篷、睡袋等“露... 2022-10-26
生活雞肉怎麼炖比較有營養
雞肉怎麼炖比較有營養?把買來雞肉沖洗幹淨，切成一小塊一小塊，接下來我們就來聊聊關于雞肉怎麼炖比較有營養?以下内容大家不妨參考一二希望能幫到您!雞肉怎麼炖比較有營養把買來雞肉沖洗幹淨，切成一小塊一小塊。準備輔料：紅棗、黃芪、闆栗、桂圓、枸杞，... 2022-06-15
生活簡單的臭豆腐的做法
簡單的臭豆腐的做法?準備用料豆腐、辣椒醬、白酒、植物油、蔥、鹽，今天小編就來說說關于簡單的臭豆腐的做法?下面更多詳細答案一起來看看吧!簡單的臭豆腐的做法準備用料。豆腐、辣椒醬、白酒、植物油、蔥、鹽。将買來的新鮮豆腐從盒中取出來瀝幹，然後拿幾... 2022-08-22
生活元宵節吃餃子的寓意
元宵節吃餃子的寓意?通常情況下元宵節的時候，一些地區的人們為了圖吉利，會将元宵和餃子一起吃，餃子象征着财富以及美好期望，現在小編就來說說關于元宵節吃餃子的寓意?下面内容希望能幫助到你，我們來一起看看吧!元宵節吃餃子的寓意通常情況下元宵節的時... 2022-06-29
生活乘風破浪的姐姐前十名
乘風破浪的姐姐前十名?排在前十的有：藍盈瑩、黃齡、李斯丹妮、孟佳、沈夢辰、郁可唯、甯靜、鄭希怡、王霏霏、袁詠琳，接下來我們就來聊聊關于乘風破浪的姐姐前十名?以下内容大家不妨參考一二希望能幫到您!乘風破浪的姐姐前十名排在前十的有：藍盈瑩、黃齡... 2022-05-31

tft每日頭條

> 生活

> hdfs如何分塊

hdfs如何分塊

相关生活资讯推荐

热门生活资讯推荐

网友关注