tft每日頭條

 > 科技

 > 大數據的概念及主要特征

大數據的概念及主要特征

科技 更新时间:2024-12-04 15:47:00

大數據概念想必大家都不陌生,畢竟是近年來最熱門的話題之一。在計算機以及互聯網如此普及的今天,我們所有人每天都會在互聯網上産生大量的數據,例如在淘寶浏覽商品時會産生數據,使用社交app進行即時通訊時也會産生數據,每天股市的上漲下跌及交易量也是數據......如此可見,每天互聯網上産生的數據是有多龐大,數據可謂是無處不在:

大數據的概念及主要特征(大數據基本概念)1

但是數據量大,隻是大數據概念的特征之一,大數據有4個特征簡稱4V特征:

大數據的概念及主要特征(大數據基本概念)2

在2001年,高德納分析員道格·萊尼在一份與其2001年的研究相關的演講中指出,數據增長有三個方向的挑戰和機遇:量(Volume),即數據多少;速(Velocity),即資料輸入、輸出的速度;類(Variety),即多樣性。

在萊尼的理論基礎上,IBM提出大數據的4V特征,得到了業界的廣泛認可。第一,數量(Volume),即數據巨大,從TB級别躍升到PB級别;第二,多樣性(Variety),即數據類型繁多,不僅包括傳統的格式化數據,還包括來自互聯網的網絡日志、視頻、圖片、地理位置信息等;第三,速度(Velocity),即處理速度快,如果處理不夠高速則無法應用在實時更新數據的場景上;第四,價值(Value),即追求高質量的、有價值的數據。想學習好大數據可以關注公衆号程序員大牛 有視頻資源分享一起學習

大數據4V特征:

  • Volume 大量,既然叫大數據,那麼數據量肯定得大
  • Variety多樣性,數據可以多種結構,可以是結構性數據、半結構性數據以及非結構性數據
  • Value價值,這些大量的數據需要能夠被挖掘出有價值的數據,因為無價值的數據隻是一堆占用存儲空間的垃圾
  • Velocity高速,數據的處理速度要快,時效性強,因為很多場景下要實時更新、檢測數據

大數據要解決的問題

大數據是要用來從中挖掘有價值的數據的,如果數據不能給企業帶來價值,不能給用戶帶來更好的體驗,那麼這些數據就是無用的。而從數據中挖掘價值就是大數據要解決的問題,這就好像淘金、挖礦一樣,我們利用大數據技術從海量數據中挖掘有用的數據,剔除無用的數據:

大數據的概念及主要特征(大數據基本概念)3

大數據帶來的挑戰

大數據涉及到的技術:

1.數據采集:

我們需要将分散的數據都采集起來,集中在一起,才能夠進行數據的分析

2.數據存儲:

将大量的數據采集起來後,存儲就是個問題,需要存儲空間足夠大

3.數據處理/分析/挖掘:

存儲的問題解決後,才開始對這些數據進行處理,分析、挖掘有價值的數據出來

4.可視化:

最後就是将這些挖掘出來的數據進行可視化、圖形化後呈現給别人看,總不可能讓你領導來看一堆數字或字符串吧

大數據在技術架構上帶來的挑戰:

1.對現有數據庫管理技術的挑戰:

海量的數據想要存儲到傳統的關系型數據庫是不太現實的,雖然數據庫可以進行集群,但是基本上也不能處理TB級以上的數據分析的,所以現階段無法使用結構化的查詢及處理去解決這些問題

2.傳統數據庫技術并沒有考慮數據的多類别:

關系型數據庫的結構都是庫 >> 表 >> 字段的關系結構,而大數據具有數據多樣化的特征,所以不好存儲

3.實時性的技術挑戰:

數據所産生的價值會随着時間的推移而降低,所以要讓數據實時展現是個問題

4.網絡架構、數據中心、運維的挑戰:

由于數據一直呈大幅增長的狀态,而數據又要實時地呈現,這對網絡傳輸上是一個挑戰。而且數據量大,肯定得多台服務器進行存儲,這就給數據中心以及運維帶來一定的挑戰

大數據帶來的其他挑戰:

1.數據隐私:

這個不用說,海量數據裡肯定會包含一些用戶的隐私數據,我們得保障這些數據不外洩

2.數據源複雜多樣:

之前也提到過大數據的特征之一就是數據的多樣性,如何處理好多樣的數據是個問題


如何應對大數據帶來的挑戰

對于以上所說到的挑戰,Google已經有應對這些挑戰的技術了:

  • MapReduce 可以解決計算效率的問題
  • Big Table 可以解決讀寫速度的問題
  • GFS 可以解決存儲容量的問題

大數據的概念及主要特征(大數據基本概念)4

但是,Google隻發表了這些技術的論文,并沒有開源這些技術,所以我們無法進行使用。不過,好在Apache基金會模仿着Google的大數據技術,開發出了Hadoop生态圈,Hadoop也是學習大數據技術必須要學的框架。

  • Hadoop裡也有MapReduce
  • Hbase對應着Big Table
  • HDFS對應着GFS

大數據的概念及主要特征(大數據基本概念)5

如何學好大數據

想要在大數據這個領域汲取養分,讓自己壯大成長。分享方向,行動以前先分享下一個大數據交流分享資源群870097548,歡迎想學習,想轉行的,進階中你加入學習。

1.學習一個框架,最好的方式就是查看它的官方,因為官網上的文檔是最權威且最詳細的。

2.通過項目實戰對知識點進行鞏固和融會貫通

3.參加一些社區活動:Meetup、開源社區大會、線下沙龍等,與他人交流有助于提升眼界

4.切記:多動手、多練習、貴在堅持

5.最好将英文學好,因為很多好的技術論文以及文章都是英文的,而且官網的語言也是英文的

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved