tft每日頭條

 > 科技

 > 基礎文件傳輸系統設計

基礎文件傳輸系統設計

科技 更新时间:2024-12-19 04:22:15

作為核心與外圍的交互中間平台,文件傳輸平台和交換平台可以合二為一,可以細分為二。從數據對系統的影響及問題定位,拆分開更好。

不同系統的數據交互,和聯機批量類似,主要通過報文和文件進行信息傳遞。文件傳輸無非根據自己的業務功能,進行數據文件的生成,傳送其他系統,或者解析其他系統數據文件,根據業務功能加工處理。也就是傳出導入,也叫上傳下傳。系統根據自己關聯的系統數量,及數據接口的複用情況确定是否建立系統前置平台。

聯機批,批量作業,定時批量作業都有

文件的導入導出。其核心實現過程,統一規則,設置服務參數,編寫底層處理邏輯,控制文件數據按照服務參數的導入導出。細節例如:

文件接口的存放目錄,文件接口的命名,文件接口的格式,字段分隔符,一條記錄結尾分隔符等,都需要設定統一的命名規範。大字段接口需要重點關注。

接口文件的服務方和消費方應該提前對接口字段定義類型,長度,約束進行統一确認。

有的文件每天隻會生成一次,沒有進行順序号控制,那麼生成第二次的時候就要考慮具體業務場景,是否有必要報錯,還是直接覆蓋處理。

導入導出表盡量設計成臨時表,這樣可以盡量擺脫對主表的影響,減少交互。主表處理多了容易造成鎖,尤其是分布式數據庫。

底層平台程序通過組織服務參數,拼接導數語句,通過調用數據導入導出工具或者應用服務,實現文件和數據庫臨時表的轉換。

通過傳輸平台的配置文件,實現不同系統對特定接口文件的訪問權限。

當一個服務一日多次,需要添加順序号加以區分,順序号一般設置9位,取到最大值的80%,可設置成從1繼續開始。

處理數據文件,卸數最好每天增量處理,當然這時需要考慮數據一緻性,如數據的更新,删除。一種方案是更新數據改成先删除,再寫入,這樣外圍系統需要也先做一次删除動作,再增量寫入新數據。

當一個服務存在多個作業步驟的時候,設置記錄多個分步的作業狀态,這樣确保每一步都是正确完成的狀态,再更新整個作業的狀态。

當生成的數據文件沒有數據的時候,需要根據自己業務場景,去判斷直接生成一個大小為0的空文件,還是報錯。另外上傳導入的時候,空文件根據情況,是否有必要提前判斷一下。

在文件導入導出的時候,需要提前分析确認好大數據量的情況應該如何處理。并且要對其耗時有一個預估。比如太大,處理時間過長,影響系統性能,甚至報錯。

某些特殊場景還需要對文件預先轉碼。

傳輸平台一般對數據文件不需要保存備份很久。由對應各個接口系統根據自己情況備份一定天數的文件數據。提前協商确定表,接口文件清理周期。

判斷文件完整性,一般都是通過ok标識文件。如果沒有标識文件,應該确認其風險影響。

提前設計好異常數據短點處理機制,防止數據處理異常報錯。有些業務場景允許作業重新運行,有些作業需要設計記錄斷點,斷點續做機制。

提前設計一套恢複或者沖正測試工具,方便以後批量數據的測試比對。

支持一個外圍連接,就是支持一項新的業務功能,就能為銀行系統創收增利。或者是對風險的預測降低。

基礎文件傳輸系統設計(系統前置文件傳輸平台)1

每天強制自己寫些東西,拍攝制作視頻,記錄生活,思考探索學習一些東西。不斷地學習,堅持下去,提高自己的認知,打開自己的思維,以後會有更多的方法和創新。

版權歸作者踮起腳尖伸長雙手所有,未經作者允許不得轉載本文内容,否則将視為侵權;轉載或者引用本文内容請注明來源及原作者;對于不遵守此聲明或者其他違法使用本文内容者,本人依法保留追究權。歡迎大家對内容給予批評指正,請在下面留言,我會一一回答,謝謝大家的支持關照。認可的點贊支持!喜歡的話就點擊關注!關注踮起腳尖伸長雙手,關注正能量!

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved