大數據概念想必大家都不陌生,畢竟是近年來最熱門的話題之一。在計算機以及互聯網如此普及的今天,我們所有人每天都會在互聯網上産生大量的數據,例如在淘寶浏覽商品時會産生數據,使用社交app進行即時通訊時也會産生數據,每天股市的上漲下跌及交易量也是數據......如此可見,每天互聯網上産生的數據是有多龐大,數據可謂是無處不在:
但是數據量大,隻是大數據概念的特征之一,大數據有4個特征簡稱4V特征:
在2001年,高德納分析員道格·萊尼在一份與其2001年的研究相關的演講中指出,數據增長有三個方向的挑戰和機遇:量(Volume),即數據多少;速(Velocity),即資料輸入、輸出的速度;類(Variety),即多樣性。
在萊尼的理論基礎上,IBM提出大數據的4V特征,得到了業界的廣泛認可。第一,數量(Volume),即數據巨大,從TB級别躍升到PB級别;第二,多樣性(Variety),即數據類型繁多,不僅包括傳統的格式化數據,還包括來自互聯網的網絡日志、視頻、圖片、地理位置信息等;第三,速度(Velocity),即處理速度快,如果處理不夠高速則無法應用在實時更新數據的場景上;第四,價值(Value),即追求高質量的、有價值的數據。想學習好大數據可以關注公衆号程序員大牛 有視頻資源分享一起學習
大數據4V特征:
大數據要解決的問題
大數據是要用來從中挖掘有價值的數據的,如果數據不能給企業帶來價值,不能給用戶帶來更好的體驗,那麼這些數據就是無用的。而從數據中挖掘價值就是大數據要解決的問題,這就好像淘金、挖礦一樣,我們利用大數據技術從海量數據中挖掘有用的數據,剔除無用的數據:
大數據帶來的挑戰
大數據涉及到的技術:
1.數據采集:
我們需要将分散的數據都采集起來,集中在一起,才能夠進行數據的分析
2.數據存儲:
将大量的數據采集起來後,存儲就是個問題,需要存儲空間足夠大
3.數據處理/分析/挖掘:
存儲的問題解決後,才開始對這些數據進行處理,分析、挖掘有價值的數據出來
4.可視化:
最後就是将這些挖掘出來的數據進行可視化、圖形化後呈現給别人看,總不可能讓你領導來看一堆數字或字符串吧
大數據在技術架構上帶來的挑戰:
1.對現有數據庫管理技術的挑戰:
海量的數據想要存儲到傳統的關系型數據庫是不太現實的,雖然數據庫可以進行集群,但是基本上也不能處理TB級以上的數據分析的,所以現階段無法使用結構化的查詢及處理去解決這些問題
2.傳統數據庫技術并沒有考慮數據的多類别:
關系型數據庫的結構都是庫 >> 表 >> 字段的關系結構,而大數據具有數據多樣化的特征,所以不好存儲
3.實時性的技術挑戰:
數據所産生的價值會随着時間的推移而降低,所以要讓數據實時展現是個問題
4.網絡架構、數據中心、運維的挑戰:
由于數據一直呈大幅增長的狀态,而數據又要實時地呈現,這對網絡傳輸上是一個挑戰。而且數據量大,肯定得多台服務器進行存儲,這就給數據中心以及運維帶來一定的挑戰
大數據帶來的其他挑戰:
1.數據隐私:
這個不用說,海量數據裡肯定會包含一些用戶的隐私數據,我們得保障這些數據不外洩
2.數據源複雜多樣:
之前也提到過大數據的特征之一就是數據的多樣性,如何處理好多樣的數據是個問題
如何應對大數據帶來的挑戰
對于以上所說到的挑戰,Google已經有應對這些挑戰的技術了:
但是,Google隻發表了這些技術的論文,并沒有開源這些技術,所以我們無法進行使用。不過,好在Apache基金會模仿着Google的大數據技術,開發出了Hadoop生态圈,Hadoop也是學習大數據技術必須要學的框架。
如何學好大數據
想要在大數據這個領域汲取養分,讓自己壯大成長。分享方向,行動以前先分享下一個大數據交流分享資源群870097548,歡迎想學習,想轉行的,進階中你加入學習。
1.學習一個框架,最好的方式就是查看它的官方,因為官網上的文檔是最權威且最詳細的。
2.通過項目實戰對知識點進行鞏固和融會貫通
3.參加一些社區活動:Meetup、開源社區大會、線下沙龍等,與他人交流有助于提升眼界
4.切記:多動手、多練習、貴在堅持
5.最好将英文學好,因為很多好的技術論文以及文章都是英文的,而且官網的語言也是英文的
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!