mapreduce的數據處理策略-tft每日頭條

mapreduce的數據處理策略

科技更新时间:2024-09-30 16:39:29

雖說随着數據處理實時性需求的不斷提升，更多新的計算框架出現，MapReduce的地位受到壓制，但是作為Hadoop原始計算框架，MapReduce的一些情況我們還是需要了解的。

mapreduce的數據處理策略（0基礎大數據入門）1

MapReduce是一種編程模型，用于大規模數據集(大于1TB)的并行運算。概念"Map(映射)"和"Reduce(歸約)"，和它們的主要思想，都是從函數式編程語言裡借來的，還有從矢量編程語言裡借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，将自己的程序運行在分布式系統上。當前的軟件實現是指定一個Map(映射)函數，用來把一組鍵值對映射成一組新的鍵值對，指定并發的Reduce(歸約)函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。

一、優點

1.易于編程：以普通程序的編程方法加上使用MapReduce提供的接口，可以快速完成分布式程序的編寫;

2.良好的擴展性：計算資源得不到滿足時，可以通過簡單的增加計算機器來擴展計算能力;

3.高容錯性：如果一個任務所在計算節點挂了，上面的計算任務可以自動轉移到另外的節點上執行，即故障自動轉移，這個過程是内部完成的，無需人工幹預;

4.适合PB級别以上數據的離線處理。

mapreduce的數據處理策略（0基礎大數據入門）2

二、缺點

1.實時計算：無法像mysql一樣在毫秒級或者秒級返回計算結果；

2.流式計算：流式計算的輸入數據是動态的，而MapReduce要求輸入數據是靜态的，已經持久化在存儲上的；

3.DAG（有向無環圖）計算：多個應用程序存在依賴關系，後一個應用程序的輸入為前一個的輸出，這種情況下，MapReduce的性能很低。因為MapReduce的每個階段的輸出結果都會先寫入到磁盤中，大量的磁盤IO會造成性能的急劇下降。

mapreduce的數據處理策略（0基礎大數據入門）3

随着時代的變遷，雖說一些原始的東西可能會淘汰掉，但是一定會有我們需要學習的東西，就像MapReduce一樣，雖說被新的計算框架代替了許多，但是我有必要了解它的優缺點，好的東西變得更好，不好的就加以改之。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部

网友关注

科技助聽器該怎麼驗配
助聽器屬于二類醫療器械，醫院不能直接銷售，而且醫生主要針對的是臨床診斷、治療，對于助聽器的驗配則需要對助聽器更加了解的專業助聽器驗配師。驗配師可調整的助聽器參數有哪些？助聽器能自己調節聲音嗎？助聽器的一些專業參數設置必須由驗配師來調試，比如... 2022-11-15
科技東芝canvioflex移動硬盤評測
随着辦公、家用數碼産品的增多，電子文檔、數碼相片已經成為我們離不開的事物，電子數據的安全就顯得格外重要，當因為硬盤的不穩定造成重要數據丢失時，那種失落感、懊惱感筆者是深有體會的。東芝作為移動硬盤領域的佼佼者，在産品數據安全和穩定性上一直受到... 2022-12-30
科技家用的新風系統有必要安裝嗎
記得在早些年，談起空氣質量，最多讨論的是揚塵和沙塵暴。13年後，人們說起空氣，先看PM2.5指數。不知是否到了霧霾爆表的時期，最近業主咨詢新風系統的問題變得多了起來。新風是啥？能除甲醛麼？什麼品牌好，大概多少錢？新風到底好不好用等一系列困惑... 2022-09-29
科技光頭強一個月的工資是多少
熊出沒這部動畫已經播出了8年，可以說是很多人的童年的記憶了吧。而光頭強和灰太狼一樣，也經曆了與熊對立，到成為好朋友的過程，至于原因，當然是我們要倡導一些“正能量”的内容了，什麼水煮活羊、大刀砍樹怎麼能讓小孩子看到呢。可是你注意過沒有，熊出沒... 2023-03-16
科技科技小知識摘抄
科技小知識摘抄?為什麼吃飯之後很多人會犯困?很多人都有這樣的經曆，在吃完一頓大餐之後立即出現昏昏欲睡的感覺造成這種現象的原因在于我們大腦内分泌的一種激素——食欲激素當一個人吃完飯之後，他攝取的大量葡萄糖會減少這種蛋白質類激素的分泌，從而讓人... 2022-08-07
科技手機sd卡怎麼格式化
手機sd卡怎麼格式化?我們每天都要使用電腦處理各種文件和信息但是電腦上的硬盤上的文件越來越多，電腦會變得很卡有的時候需要重新安裝系統，或者格式化硬盤來釋放空間，下面我們就來聊聊關于手機sd卡怎麼格式化?接下來我們就一起去了解一下吧!手機sd... 2022-04-29
科技空調怎麼裝最合理
空調，可以說家家戶戶都有，但是，真正了解空調的人卻并不多。大家是否有過這樣的經曆？冬天打開空調半天熱不了，開了老半天，還是凍得瑟瑟發抖。夏天的時候，空調的制冷也不行，家裡的電表是咔咔的轉，電費也是嘩嘩地交，說實話我都替你心疼。說到底，都是因... 2022-11-16
科技電腦怎麼篩選不了了
電腦怎麼篩選不了了?以Excel為例，我們打開Excel文件後,選中數據,點擊【排序和篩選】無效,是因為表格隻能查看無法進行操作，現在小編就來說說關于電腦怎麼篩選不了了?下面内容希望能幫助到你，我們來一起看看吧!電腦怎麼篩選不了了以Exce... 2022-06-13
科技為什麼蘋果筆記本插了充電器沒反應
為什麼蘋果筆記本插了充電器沒反應?對于非原裝充電器，容易出現充不進電，由于充電器規格不達标引起的，更換一個合格充電器即可，我來為大家講解一下關于為什麼蘋果筆記本插了充電器沒反應?跟着小編一起來看一看吧!為什麼蘋果筆記本插了充電器沒反應對于非... 2022-06-19
科技 12v的充電電壓是多少
問題：請教李工在設計12v的充電器的時候最高電壓設為多少為好呢，我看到蓄電池的電壓浮動有的說90%~125%，這樣的話最高就是12*1.25=15v，感覺有點高，一般蓄電池充滿後是13.5v，不知道大家的是設計成多少呢？浮充時候的電壓和電流... 2022-12-09
科技手機發燙了怎麼解決降溫
手機發燙了怎麼解決降溫?打開“設置”，找到“系統”，點擊“開發人員選項”，我來為大家科普一下關于手機發燙了怎麼解決降溫?以下内容希望對你有幫助!手機發燙了怎麼解決降溫打開“設置”，找到“系統”，點擊“開發人員選項”。進入後找到“後台進程設置... 2022-06-13
科技穿越火線最新解封方法
穿越火線安全運營團隊為了在假期給玩家提供一個公平、綠色的遊戲環境，保證每位玩家的遊戲體驗。在假期期間，穿越火線安全運營團隊将針對作弊行為加大打擊力度，并且通過數據回溯将過去一個月内出現行為異常的賬号進行追加封停處罰。希望小夥伴們在春節假期綠... 2022-10-26
科技火山小的活力值怎麼獲得
告訴大家一個很好的app，那就是火山小視頻，在這裡小編并不是打廣告而是說真事兒。看到自己身邊好多好友都在用，我也傳了一個沒想到第一天賺了30多元。這就激發了我的興趣。現在告訴大家達家以下幾點常識。火山小視頻是一個隻有15秒原創短視頻的平台，... 2022-12-01
科技為什麼喜歡小米品牌
細心的朋友可能會發現，以往在小米手機機身背部的“MI”LOGO圖标，在2021年的新款機型中開始更換為“xiaomi”的品牌LOGO，其實這是小米方面為全球統一标識進行的改變。以小米10系列為例，在國内市場大家習慣稱之為“小米10”，但海外... 2022-12-25
科技比較好的二手遊戲手柄
這幾年手遊基本已經成為了玩遊戲的主要選擇，本身更加方便，适合的年齡段也更廣。不過手遊也有缺點，最為明顯的就是在操作細節上相較端遊有欠缺，造成玩家體驗感較差，因此現在有不少手遊都着重在操作體驗上下功夫，比如《劍俠世界3》手遊就是如此。前段時間... 2022-12-06
科技網線做水晶頭有幾種接法
網線想必大家非常熟悉，信息的飛速發展使得網線成為生活，學習，工作必不可少的一部分，網線水晶頭的做法很簡單，隻要有專業的工具---一把網鉗即可，不會制作網線水晶頭的朋友不妨來看看，下面裝機之家教你如何制作網線水晶頭。電腦網線水晶頭接法圖解教程... 2022-11-17
科技 excelvba實現考試系統
Excel制作一個成績管理系統，本系統将是一個全功能性的學生成績管理應用，可以根據不同班、考場、學号等關鍵字段進行學生成績的添加、修改、删除、統計、打印等功能。同時将在完整地應用這後有些成績排序、比較等圖示化輸出結果。給不同的教學目标起到一... 2023-01-01
科技蘋果手機橫屏怎麼設置
蘋果手機橫屏怎麼設置?手機隻要橫過來，手機不會自動變成橫屏，接下來我們就來聊聊關于蘋果手機橫屏怎麼設置?以下内容大家不妨參考一二希望能幫到您!蘋果手機橫屏怎麼設置手機隻要橫過來，手機不會自動變成橫屏。把手機豎回來，從下往上滑一下。調出蘋果的... 2022-06-04
科技遊戲密室逃脫22第一關電腦裡的迷宮怎...
遊戲密室逃脫22第一關電腦裡的迷宮怎麼走?本關一開始的重點應該放在地上的骷髅，點擊圖中箭頭所指的位置，得到手電筒，我來為大家科普一下關于遊戲密室逃脫22第一關電腦裡的迷宮怎麼走?以下内容希望對你有幫助!遊戲密室逃脫22第一關電腦裡的迷宮怎麼... 2022-06-19
科技睡前玩手機的人有什麼症狀
來源：我是大醫生官微（ID：woshidayisheng）現代社會，手機已成為不可缺少的電子通訊設備之一，而睡前玩手機，更是不少人習以為常的入睡儀式，刷短視頻、微博、朋友圈、看電視劇……一拿起就難放下~據中國睡眠研究會發布的《全民宅家期間中... 2023-01-17
科技宿舍小機箱裝機推薦
一說到台式電腦很多人首先就想到了組裝、DIY、折騰等詞彙，的确自組台式機以其性價比、靈活性及趣味性深受廣大的用戶的喜好，并且後期更換升級的擴展性空間更大，成本相對也更低，所以大家多多少少都會對這些配件廠商有些了解。比如在PC領域說起“眼睛”... 2022-12-28
科技電腦文件丢失了還能找回來嗎
玩電腦的過程中，你是否有丢失文件、數據的情況發生過呢？電腦文件丢失能恢複嗎？當你發生這個情況的時候，是否有解決這個問題的方法？電腦數據恢複，真正有效的方法又能有幾個。的确，當發生這種情況的時候，能夠應對的方法确實沒有幾個，很多方法都隻是外表... 2023-01-26
科技蘋果手機可以刷什麼公交卡
說起刷公交卡，可能大家都不教，很輕松！說起刷手機公交卡，可能有些人就遇到困難了。按理說應該跟刷普通公交卡一樣很輕松，但是實際上，經常要反複的刷。為什麼呢？實際還是刷卡姿勢的問題。這不蘋果官微也出品了正确的刷卡姿勢教程。讓我們來看一看。這樣刷... 2022-11-23
科技安卓手機控制中心怎麼改成蘋果
很多安卓手機用戶都比較羨慕iOS系統，尤其是一些諸如控制中心等界面更為清爽。今天芝麻科技訊為安卓機用戶帶來一個不足5MB的小工具，它可以輕松讓你的安卓手機也能擁有蘋果控制中心一樣的炫酷效果。話不多說，以下是安卓秒變iOS控制中心APP下載與... 2023-03-04
科技遼甯試點縣名單
7月6日，省政府新聞辦召開新聞發布會，省發展改革委、省工業和信息化廳、省财政廳、省住房城鄉建設廳、省農業農村廳、省商務廳相關負責人對我省近日印發的《關于加快縣域經濟高質量發展的意見》（簡稱《意見》）進行介紹，并回答記者提問。據介紹，《意見》... 2022-11-07
科技華為手機播放幻燈照片為什麼沒有背景音...
華為手機播放幻燈照片為什麼沒有背景音樂?華為手機安裝的辦公軟件版本過低：先要弄清楚華為手機上安裝的是什麼版本的OFFICE組件，支持什麼功能的PPT文件有的版本不支持背景音樂，我來為大家科普一下關于華為手機播放幻燈照片為什麼沒有背景音樂?下... 2022-06-18
科技公認最好免費的pdf轉換軟件
相信上班族和學生黨在工作中和生活中都應該用過PDF文檔吧，PDF文檔整個頁面清晰高級，PDF文檔中數據的準确性是毋庸置疑的，所以也讓我們開始大量開始使用PDF文檔。但是通常我們使用的不止PDF文檔，可能還會用到PPT，Word，Excel等... 2022-11-07
科技 win10老是收集錯誤重啟
win10老是收集錯誤重啟?按下“winr”打開運行，輸入：msconfig點擊确定打開系統配置，今天小編就來聊一聊關于win10老是收集錯誤重啟?接下來我們就一起去研究一下吧!win10老是收集錯誤重啟按下“winr”打開運行，輸入：ms... 2022-06-13
科技蘋果手機為什麼要打開微信才能收到消息...
蘋果手機為什麼要打開微信才能收到消息?蘋果手機要打開微信才能收到消息是因為關閉了消息提醒，重新開啟就可以了操作步驟如下：，今天小編就來聊一聊關于蘋果手機為什麼要打開微信才能收到消息?接下來我們就一起去研究一下吧!蘋果手機為什麼要打開微信才能... 2022-06-19
科技蘋果手機設置的免密支付怎麼取消
蘋果手機設置的免密支付怎麼取消?蘋果手機登錄appstore，點擊【app】并向下滑動到頁面的最下方，我來為大家科普一下關于蘋果手機設置的免密支付怎麼取消?以下内容希望對你有幫助!蘋果手機設置的免密支付怎麼取消蘋果手機登錄appstore，... 2022-06-10

tft每日頭條

> 科技

> mapreduce的數據處理策略

mapreduce的數據處理策略

相关科技资讯推荐

热门科技资讯推荐

网友关注