tft每日頭條

 > 科技

 > 大數據的技術主要包括哪些

大數據的技術主要包括哪些

科技 更新时间:2024-08-12 03:11:38

雲計算與大數據密切相關,大數據是計算密集型操作的對象,需要消耗巨大的存儲空間,雲計算的主要目标是在集中管理下使用巨大的計算和存儲資源,用微粒度計算能力提供大數據應用,雲計算的發展為大數據的存儲和處理提供了解決方案,大數據的出現也加速了雲計算的發展,基于雲計算的分布式存儲技術可以有效地管理大數據,借助雲計算的并行計算能力可以提高大數據采集和分析的效率。

研究機構Gartner定義∶大數據是需要新的處理模式,才能使用戶具有更強的決策力、洞察發現力和流程優化能力,以及海量、高增長率和多樣化的信息資産。

1.大數據的特征

大數據的特征主要有: 數據大體量(Volume)、種類多樣性(Variety)和速度(Velocity),即龐大容量、極快速度和種類豐富的數據。如下圖所示:

大數據的技術主要包括哪些(大數據技術主要包含哪些技術)1

大數據的特征

1.1Volume(數據大體量)

用現有技術無法管理的數據量,從現狀來看,基本上是指從幾十TB到幾PB這樣的數量級。随着時代發展存儲數據的數量增長速度加快,數據體量規模增大。有關數據量的對話已從TB級别轉向PB 級别,甚至轉向ZB級别。

1.2Variety(種類多樣性)

随着技術的發展,企業的數據複雜度更高因為它不僅包含傳統的關系型數據, 還包含來自網頁、互聯網日志文件、搜索索引、社交媒體論壇、電子郵件、文檔、主動和被動系統的傳感器數據等原始、半結構化和非結構化數據。

其中,爆發式增長的一些數據,如互聯網上的文本數據、位置信息、傳感器數據和視頻等,用企業中主流的關系型數據庫是很難存儲的,它們都屬于非結構化數據。在這些數據中和過去不同的是,這些大數據并非隻是存儲起來就夠了,還需要對其進行分析,并從中獲得有用的信息。

1.3Velocity(速度)

數據産生和更新的頻率也是衡量大數據的一個重要特征,大數據的高速性指的是數據以極快的速度被産生、累積、消化和處理。許多數據都具有時效性,這要求它們在一定的時間限度内被消化掉,就像所收集和存儲的數據量和種類發生了變化一樣,生成和處理數據的速度也在變化。

在很多領域,對這些源源不斷産生的海量數據進行實時分析和處理是十分必要的,搜索引擎要能讓用戶查找到幾分鐘前發生的事情的新聞報道,個性推薦算法需要根據用戶行為特征盡可能快地向用戶完成推送,醫療機構通過監測網上的文章和用戶搜索記錄來跟蹤流感傳播等。大數據管理系統,不僅需要對海量的數據進行可靠存儲,更要具備高效的數據分析和處理能力,才能适應當今時代下大數據的發展。

大數據是一個跨多個信息技術領域的動力和活動,除了3V基本特征,即Volume(數據打體量)、Variety(種類多樣性)和Velocity(高速)外,還增添了2個新特征:Value(價值)、Veracity(真實)。

大數據的Value(價值)大數據的價值不在于數據本身,而在于從大數據的分析中所能發掘出的潛在價值。大數據的體量大而價值密度低,大數據的分析挖掘過程就是提升其價值的過程。通過強大的算法來對龐大的數據集合進行有機的組織和分析,大數據中所蘊含的價值才能被提煉出來。

大數據的Veracity(真實)數據的來源是極其廣泛的,通常無法人為進行控制,這就導緻了數據的可靠性和完整性的問題。數據的可靠性和完整性決定了數據的質量,需要對數據進行甄别,對這些質量不一的數據進行統一的加工處理,并對數據的真實性加以判别。

這些特征是從技術的角度看待大數據的特征的,而大數據價值性的實現依賴于技術基礎。隻有當我們能夠解決大數據時代帶來的技術挑戰時,大數據的價值性才能夠得到體現。

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved