摘要：本文主要分享在大數據場景數據覆蓋式導入數據庫的方法。

本文分享自華為雲社區《數據庫覆蓋式數據導入方法介紹-雲社區-華為雲》，作者：along_2020 。

衆所周知，數據庫中insert INTO語法是append方式的插入，而最近在處理一些客戶數據導入場景時，經常遇到需要覆蓋式導入的情況，常見的覆蓋式導入主要有下面兩種：

1、部分覆蓋：新老數據根據關鍵列值匹配，能匹配上則使用新數據覆蓋，匹配不上則直接插入。

2、完全覆蓋：直接删除所有老數據，插入新數據。

本文主要介紹如何在數據庫中完成覆蓋式數據導入的方法。

某業務每天給業務表中導入大數據進行分析，業務表中某列存在主鍵，當插入數據和已有數據存在主鍵沖突時，希望能夠對該行數據使用新數據覆蓋或者說更新，而當新老數據userid不沖突的情況下，直接将新數據插入到數據庫中。以将表src中的數據覆蓋式導入業務表des中為例：

--開啟事務 START TRANSACTION; --去除主鍵沖突數據 DELETE FROM des USING src WHERE EXISTS (SELECT 1 FROM des WHERE des.userid = src.userid); --導入新數據 INSERT INTO des SELECT * FROM src WHERE NOT EXISTS (SELECT 1 FROM des WHERE des.userid = src.userid); --事務提交 COMMIT;複制

方案優點：使用最常見的使用DELETE和INSERT即可實現。

方案缺點：1、分了DELETE和INSERT兩個步驟，易用性欠缺;2、借助子查詢識重，DELETE/INSERT性能受查詢性能制約。

MERGE INTO des USING src ON (des.userid = src.userid) WHEN MATCHED THEN UPDATE SET des.b = src.b WHEN NOT MATCHED THEN INSERT VALUES (src.userid,src.b);複制

方案優點：MERGE INTO單SQL搞定，使用便捷，内部去重效率高。

方案缺點：需要數據庫産品支持MERGE INTO功能，當前Oracle、GaussDB（DWS）等數據庫已支持此功能，mysql的insert into on duplicate key也類似此功能。

某業務每天給業務表中導入一定時間區間的數據進行分析，分析隻需要導入時間區間的去除，不需要以往曆史數據，這種情況就需要使用到覆蓋式導入。

--開啟事務 START TRANSACTION; --清除業務表數據 TRUNCATE des; --插入1月份數據 INSERT INTO des SELECT * FROM src WHERE time > '2020-01-01 00:00:00' AND time < '2020-02-01 00:00:00'; --提交事務 COMMIT;複制

方案優點：簡單暴力，先清理在插入直接實現類似覆蓋寫功能。

方案缺點：TRUNCATE清理業務表des數據時對表加8級鎖直到事務結束，在因數據量巨大而INSERT時間很長的情況下，des表在很長時間内是不可訪問的狀态，業務表des相關的業務處于中斷狀态。

--開啟事務 START TRANSACTION; --創建臨時表 CREATE TABLE temp(LIKE desc INCLUDING ALL); --數據先導入到臨時表中 INSERT INTO temp SELECT * FROM src WHERE TIME > '2020-01-01 00:00:00' AND TIME < '2020-02-01 00:00:00'; --導入完成後删除業務表des DROP TABLE des; --修改臨時表名temp->des ALTER TABLE temp RENAME TO des; --提交事務 COMMIT;複制

方案優點：相比方案一，在INSERT期間，業務表des可以繼續被訪問（老數據），即事務提交前分析業務可繼續訪問老數據，事務提交後分析業務可以訪問新導入的數據。

方案缺點：1、組合步驟較多，不易用;2、DROP TABLE操作會删除表的依賴對象，例如視圖等，後面依賴對象的還原可能會比較複雜。

INSERT OVERWRITE INTO des SELECT * FROM src WHERE time > '2020-01-01 00:00:00' AND time < '2020-02-01 00:00:00';複制

方案優點：單條SQL搞定，執行便捷，能夠支持一鍵式切換業務查詢的新老數據，業務不中斷。

方案缺點：需要産品支持INSERT OVERWRITE 功能，當前impala、GaussDB（DWS）等數據庫均已支持此功能。

随着大數據的場景越來越多，數據導入的場景也越來越豐富，除了本文介紹的覆蓋式數據導入，還有其他諸如忽略沖突的INSERT IGNORE 導入等等其他的導入方式，這些導入場景可以以使用基礎的INSERT、UPDATE、DELETE、TRUNCATE來組合實現，但是也同樣會對高級的一鍵SQL功能有直接訴求，後面有機會再繼續介紹。

點擊下方，第一時間了解華為雲新鮮技術~

華為雲博客_大數據博客_AI博客_雲計算博客_開發者中心-華為雲

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!