tft每日頭條

 > 科技

 > 數據倉庫都分哪些層

數據倉庫都分哪些層

科技 更新时间:2024-12-02 12:54:12

分享職場生活、職場攻略、程序員創業資源,為一線開發者提供優質内容

剛加入數據部門時,時常聽到同事說ODS層,DW層,剛開始聽了懵懵的,不知其具體是什麼,直到自己查看了一些資料才有所了解。原來大數據這麼多東西要學。

DB 是數據來源,數據來源可以是文件日志,Mysql,SqlServer等,為數據倉庫提供數據來源的一般存在于現有的業務系統中。

ETL是英文Extract-Transform-Load的縮寫, 用來描述将數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。

Extract,數據抽取,也就是把數據從數據源讀出來。

Transform,數據轉換,把原始數據轉換成期望的格式和維度。如果用在數據倉庫的場景下,Transform也包含數據清洗,清洗掉髒數據。

Load 數據加載,把處理後的數據加載到目标處,比如DW 數據倉庫。

數據倉庫都分哪些層(兩分鐘搞懂數據倉庫DW)1

操作性數據

ODS(Operational Data Store) ,是作為數據庫到數據倉庫的一種過渡,ODS的數據結構一般與數據來源保持一緻,便于減少ETL的工作複雜性,而且ODS的數據周期一般比較短,ODS的數據最終流入DW。

數據倉庫

DW (Data Warehouse),是數據的歸宿,這裡保持所有從ODS到來的數據,并長期保存,而且這些數據不會被修改。

數據集市

DM(Data Mart) ,為了特定的應用目的,而從數據倉庫中獨立出來的一部分數據,也可稱為主題數據。DM結構清晰,針對性強、拓展性好。

#「閃光時刻」主題征文 二期#

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved