大數據簡要概述

大數據指無法在一定時間範圍内用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資産。

随着雲時代的來臨，大數據（Big data）也吸引了越來越多的關注。

百度百科認為，大數據（Big data）通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和雲計算聯系到一起，因為實時的大型數據集分析需要像蟻巢一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大數據通常容量巨大，且内容多樣化，計量單位一般都是TB甚至EB等級，簡單來說，大數據技術就是采集這些信息後進行分析和處理，以獲得普通數據中蘊含的更豐富信息。

1PB相當于50%的全中國學術研究圖書館藏書信息内容；

5EB相當于至今全世界人類所講過的話語；

1YB相當于7000位人類體内的微細胞總和；

1ZB如同全世界海灘上的沙子數量總和。

大量，指大數據量非常大。必須包含盡可能詳細的數據才可稱為大數據。

種類，體現在數據類型的多樣化，除了包括傳統的數字、文字，還有更加複雜的語音、圖像、視頻等。

高速，指大數據必須得到高效、迅速的處理。

價值，指大數據的價值更多地體現在零散數據之間的關聯上。

複雜性，體現在大數據所代表的不同信息的混雜程度。

真實性，指與傳統的抽樣調查相比，大數據反映的内容更加全面、真實。因為他的六大特征的英文名稱首字母為五個v一個c,所以大數據的特征又被稱作5v一c模型特征。

大數據包括結構化、半結構化和非結構化數據，非結構化數據越來越成為數據的主要部分。

大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以雲計算為代表的技術創新大幕的襯托下，這些原本看起來很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

（1） 優化各級政府、主管部門、各級公司企業都将基于大數據分析平台優化其決策。

（2） 帶來新的革命，大數據分析能力逐漸加強，傳統市場研究行業、證券研究所、産業鍊咨詢機構将逐漸消失。

（3） 對相關行業的颠覆，銀行都将基于企業大數據平台開展銀行直銷業務，同時按照産業鍊金融服務事業部模式開展業務。

（4） 帶來的改變：因大數據系統的出現，所有依賴信息不對稱盈利的業務都将消失。

大數據的應用案例：

1、大數據使人民生活更加便利。

2、方便日常出行，利用交通系統的大數據，我們可以預約網約車出行，可以提前了解路況，避免堵車。

3、利用大數據，可以節省用戶的購物時間，而且可以通過大數據分析來獲取用戶的準确需求，達到精準推送的效果。

挑戰1：大數據技術的運用仍有困難

數據采集方面：要對來自網絡包括物聯網和機構信息系統的數據附上時空标志，去僞存真，盡可能收集異源甚至是異構的數據，還可與曆史數據對照，多角度驗證數據的全面性和可信性。

數據存儲方面：要達到低成本、低能耗、高可靠性目标，要用到冗餘配置、分布化和雲計算技術，存儲時對數據進行分類，通過過濾和去重，減少存儲量，并加入便于檢索的标簽。

數據處理方面：大數據的複雜性使得難以用傳統的方法描述與度量，需要将高維圖像等多媒體數據降維後度量與處理，利用上下文關聯進行語義分析，從大量動态及可能模棱兩可的數據中綜合信息，并導出可理解的内容。

可視化呈現方面：使結果更直觀以便于洞察。目前，盡管計算機智能化有了很大進步，但還隻能針對小規模、有結構或類結構的數據進行分析，談不上深層次的數據挖掘，現有的數據挖掘算法在不同行業中難以通用。

挑戰2：大數據給信息安全帶來新挑戰

（1）加大隐私洩露風險，大量數據的集中存儲增加了其洩露的風險；

一些敏感數據的所有權和使用權并沒有清晰界定。

（2）對現有存儲和安防措施提出挑戰，複雜的數據存儲在一起，可能造成企業安全管理不合規；

（3）被運用到攻擊手段中，黑客可收集更多有用信息，大數據分析讓攻擊更精準；大數據為黑客發起攻擊提供了更多的機會安全防護手段更新升級慢，存在漏洞。

事情的起因是美國中情局前職員斯諾登向媒體爆料，過去6年間，美國的情報部門通過一個代号為“棱鏡”的項目，從多家知名互聯網公司獲取電子郵件、在線聊天内容、照片、文檔、視頻等網絡私人數據，跟蹤用戶一舉一動。

他說，自己隻需要坐在辦公桌前，動動指頭，敲敲鍵盤，就能了解很多人的私密信息。

斯諾登的爆料引起一片嘩然，根據他提供的資料，被卷入“棱鏡門”事件的公司包括微軟、雅虎、谷歌、蘋果、Facebook等9大IT業巨頭。

在“棱鏡門”事件開始發酵之後，這些公司先是趕緊出面否認與美國政府的監視項目進行過合作，并相繼發表聲明，呼籲政府采取更透明态度，以證明他們的“清白”。但是根據此事件後續的爆料隻能說他們越描越黑。

機遇1：國家層面

大數據技術的運用前景是十分光明的。當前，我國正處在全面建成小康社會征程中，工業化、信息化、城鎮化、農業現代化任務很重，建設下一代信息基礎設施，發展現代信息技術産業體系，健全信息安全保障體系，推進信息網絡技術廣泛運用，是實現四化同步發展的保證。

大數據分析對我們深刻領會世情和國情，把握規律，實現科學發展，做出科學決策具有重要意義，我們必須重新認識數據的重要價值。

機遇2：企業層面

每個企業都可能擁有大數據，但是并非每個企業都能成為大數據企業。對于企業而言，大數據實質上是一種管理思維，其支點在于業務信息資源與社交媒體的融合，以及企業内外部信息的融合，在這樣的支點上反思企業的組織形态、運作範式和價值創造模式，是企業運用大數據的真正内涵所在。

機遇3：對個人層面

中國是人才大國，但能理解與應用大數據的創新人才一直是稀缺資源。

從知識結構升級的角度來看，不論是否處在計算機行業，學習一定的大數據、人工智能技術，對于未來的發展還是很有幫助的。

既然大的社會發展趨勢無法扭轉，那麼就應該積極擁抱新技術，從而抓住新技術所帶來的新機遇。

雖然當前消費互聯網時代的用戶增量紅利已經逐漸結束了，但是大數據時代的紅利期才剛剛開啟，所以當前學習大數據相關技術也是順應時代發展的選擇。

編輯：研究所新媒體

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!