tft每日頭條

 > 科技

 > 大數據bi工具有哪些

大數據bi工具有哪些

科技 更新时间:2024-08-01 22:12:01

大數據bi工具有哪些(為什麼不是傳統BI的簡單升級)1

作者:傅一平

BI(BusinessIntelligence)即商務智能,它是一套完整的解決方案,用來将企業中現有的數據進行有效的整合,快速準确的提供報表并提出決策依據,幫助企業做出明智的業務經營決策。

大數據(Big Data),指在可承受的時間範圍内用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來适應海量、高增長率和多樣化的信息資産。

不管定義如何不同,大數據與傳統BI是社會發展到不同階段的産物,大數據對于傳統BI,既有繼承,也有發展,從"道"的角度講,BI與大數據區别在于前者更傾向于決策,對事實描述更多是基于群體共性,幫助決策者掌握宏觀統計趨勢,适合經營運營指标支撐類問題,大數據則内涵更廣,傾向于刻畫個體,更多的在于個性化的決策。

基于這個特點,大數據很容易在生産中形成基于個體的評估和閉環反饋網絡,BI則由于偏向宏觀而難以在生産中貫徹執行從而産生實際價值,因此,當前的大量的新數據應用領域,實際BI是沒有覆蓋的,比如RTB廣告、智能制造、個性醫療等等。

當然純粹從思想的角度講,兩者在概念上是可以實現統一的,都遵循數據-信息-知識-智慧這個脈絡,甚至在更高的層次,兩者也是可以統一的,比如這個定義:“世界上萬事萬物都在被數據化,形成一個與現實世界相關聯的數據世界,人類可以利用數據化的方式,應對和解決生存和發展問題。”

因此很多人說BI跟大數據沒區别,的确是這樣,沒必要擡高大數據,但由此認為兩者價值也差不多,那也有問題,它忽略了"術"的不同,由此造成應用的巨大差别。

舉個例子:神經網絡理論幾十年前就有,為啥直到現在才有深度學習突破性的進展,關鍵是其"術"的能力提高了,一定程度講,大規模數據并行處理讓這個理論煥發了新生。

理念是一回事,付諸實踐是另一回事,因此,我們還是要從“術”的角度來闡述大數據與傳統BI的區别,事實上,傳統BI,由于其術的限制,已經達到了一定瓶頸。

傳統BI廠家喊了多少年的"幫助企業做出明智的業務經營決策",現在除了一堆報表系統,搞了一些決策樹等統計算法,還剩下什麼呢?傳統企業引入了那麼多的BI咨詢,寫了那麼多報告,真正發生過價值的有多少?BI已死也并非空穴來風。

如果搞BI的還在原有的地方轉圈圈,不去變革,除了空喊我也是大數據,沒有意義,因為數據價值最終還得看落地的能力。

大數據的4V特征大家都懂,大數據在量、維度、速度等方面相對于傳統BI的改變的确讓數據改造世界的能力發生了質的變化, 那麼,大數據的“術”于傳統BI到底有哪些變化?傳統企業需要做哪些改變呢?

1、超越BI,拓展新的業務邊界

大數據不是繡花枕頭,它的第一要務就是解決業務問題,大數據一定程度上講就是用全新的數據技術手段來拓展和優化業務,傳統企業需要聚集一撥人來研究這個問題。

如果對外,想清楚新的商業模式,如果對内,想清楚在哪個場景,可以用大數據的手段來提升效率。

當前大數據可以産生價值的地方,從行業的角度看,互聯網、制造業、公共服務、醫療保健、金融服務都有廣闊前景。

從領域的角度看,廣告、營銷、風控、供應鍊都是大數據發揮價值的地方,對于特定企業,比如電信運營商,大數據也可以在網絡優化等方面提供新的方法。

大數據應用場景是企業特别需要想清楚的地方,傳統BI失敗,一定程度講,是技術推動業務導緻的倒挂現象所緻,是高估傳統BI利用數據的能力所緻,比如大量領域用傳統BI産生不了生産力,當然也少不了忽悠。

大數據也面臨這個重大問題,但應該看到,随着大數據概念的普及,應用領域的大幅延伸,企業的管理和業務人員對于數據的認識有了很大的轉變,數據化的思維開始深入人心,對于大數據來說,是一個新的機會。

不業務,無大數據。

2、颠覆BI,打造大數據技術引擎

這是當前大數據領域最火的地方,很多企業紛紛在建設自己的大數據台,不外乎解決以下問題,以下僅舉例。

比如用Hadoop、流處理等技術解決海量的結構化、非結構化數據的ETL問題,用Hadoop、MPP等技術計算海量數據的計算問題,用redis、HBASE等方式解決高效讀的問題,用Impala等技術實現在線分析等問題。

本質是基于廉價的機器,采用去中心化,分布式的方式去解決海量結構,非結構化數據的存儲、處理和讀寫的問題。

要理解這個,其實去讀懂Google的三篇論文就可以了,分别是關于Google File System、Google Bigtable及Google MapReduce的。

但并不是每個企業都需要打造自己的大數據平台,量力而行吧,可以自研 ,比如BAT,也可以采購,比如傳統大企業,也可以租用,比如用阿裡雲和AWS。

在技術上,傳統BI的ETL、數據倉庫、OLAP、可視化報表技術,都處于淘汰的邊緣,因為它解決不了海量數據(包括結構化與非結構化)的處理問題,其所有的功能都可以被對應的大數據組件所替代,因此不再有發展前途,大多數企業即使沒有大數據業務的驅動,但大數據技術的成本優勢在那裡,不做大數據也倒逼你用大數據技術,是不?

當然傳統BI那套,也将長期存在,畢竟大數據的普及和應用是個漫長的過程,傳統企業對于大數據技術穩定性的擔憂也是個障礙,但企業至少要末雨綢缪了,趨勢不可擋啊,大數據技術會越來越成熟。

我記得自己的企業1年前還在用DB2,僅一年的時間,GBASE就把它替換了。我們總是低估了技術革命對于我們自身的影響程度。

3、重塑BI,升級人員的知識結構

有了業務,也有了技術,再來看看人吧,很多企業在熱火朝天的建設大數據平台,但建完之後,卻發現仍然是個報表系統,或者仍然是原來的BI,領導一看,會感歎,不就是換了個馬甲啊,大數據有啥用?

很多企業,它可以有很多的預算購買很貴的機器和軟件,但對于引入人才和培養人才卻有點力不從心,買了1個億的大數據硬件和軟件,卻希望原來的BI班底就能帶來大數據應用的繁榮,那也是差強人意的事情,新品裝舊酒,原來班底能搞定公司的報表系統就已經很好了。

為什麼傳統BI人員搞不定?

大數據需要有人專門研究和探索,傳統BI人員時間精力有限,此為其一,不是否定BI人員的能力,隻是表達不要奢望BI人員既做個合格的報表哥,又是個大數據創新達人,企業要能做些取舍。

大數據的數據處理,涉及太多新的技術,傳統BI隻要懂點SQL就可以活的很好了,但現在看看,不同的應用場景需要不同的大數據處理方法了,而且不再有人機交互那麼好的客戶端了,至少要懂流處理、HADOOP、列式或分布式鍵值數據庫吧,大數據對于BI人員的技能要求其實大幅提高了,此其二。

大數據更強調全量了,原來的BI挖掘人員,搞一些樣本在單機上運行個R就很歡樂,但現在不行了,針對5000萬用戶搞個三度交往圈試試?傳統方式在BI時代大都嘗試過了,隻有更新方法,才能帶來新的機會,比如,至少要求建模師會在SPARK上開發算法程序吧,對于用戶畫像、産品标簽化、推薦系統、排序算法都應有所理解,此其三。

人才是大數據的核心要素,沒有人的投入,不能奢望有啥産出,需要多點人才的引入和培養,少點大數據的心靈雞湯,大數據絕對不是大忽悠,如果有所懷疑,就問問你這個企業有多少人是在做大數據研究和實踐的。

因此,大數據相對于傳統BI,不是簡單的PLUS的關系,它涉及了思想、工具和人員深層次的變革,BI人員既不要一提大數據,就嗤之以鼻,認為它是新包裝的馬甲,其實就那麼回事;也不需妄自菲薄,以為搞大數據就那麼高大上,它的确是BI大多數思想的傳承,傳統BI對于數據的處理思想,都可以用于大數據。

順應大勢,更新自己,奮起直追,重裝上陣,是BI應有的态度。

End.

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved