tft每日頭條

 > 科技

 > 大數據分析基本工具

大數據分析基本工具

科技 更新时间:2024-08-12 08:18:49

在進行任何數據分析工作之前,我們都需要先将數據導入到分析場景,尤其是一些在本地儲存的業務數據,需要先上傳本地文件到平台上,再進行相應的處理和後續的模型構建。

在傳統的數據分析工作流程中,這一環節往往耗時耗力,為後續的工作開展帶來極大的阻礙,比如:

本地文件上傳慢,效率低

随着本地文件的數據格式越來越複雜,需要上傳的本地文件大小也越來越大,成千上萬條的數據行,往往需要幾十分鐘甚至數小時的時間才能完成。尤其是需要進行批量文件上傳時,效率就更加緩慢了。

數據需要進行二次處理

目前市面上常見的建模工具大多對于本地文件的上傳實現了通用性的兼容,但很多時候對于特殊文件或者出現報錯的文件,還是需要用戶上傳之後自行進行二次處理。

為了簡化建模分析前的數據準備工作,讓數據分析更輕松高效,Tempo AI針對本地文件的上傳做出了一系列優化,大家不妨試試看吧~

更清晰的數據文件配置處理

Tempo AI提供了針對本地TXT、EXCEL和CSV格式的文件,通過可視化操作界面,輕松快捷地将文件上傳到平台,可供後續數據處理或模型建立。下圖是文件輸入節點的打開界面。

大數據分析基本工具(巧用大數據分析工具)1

點擊文件上傳,選擇需要上傳的文件,點擊确定,平台使用分片技術将文件上傳解析,解析成功之後,對于不同格式的文件,配置相關信息,比如對于txt文件,可選擇内置的分隔符,也可自定義設置分隔符;選擇文件匹配的編碼格式,自由讀取數據内容。

大數據分析基本工具(巧用大數據分析工具)2

完成配置之後,文件就可以成功上傳,對于上傳成功的文件我們可以查看數據内容和數據結構,并且在數據結構界面,可搜索字段名稱或者對單個/多個數據類型進行修改。

大數據分析基本工具(巧用大數據分析工具)3

Tempo AI對于數據中的空值具有兼容處理機制,可以滿足将空格、NULL、NAN和NONE自定義設置空值的統一展示形式。并且對于隔行數據,表頭提取、數據内容提取範圍支持用戶在上傳時,可直接通過可視化操作界面進行配置,便捷完成數據的上傳和解析,輕松提取想要的數據内容。

大數據分析基本工具(巧用大數據分析工具)4

文件上傳成功之後,我們去執行該節點,就可以在洞察中查看已上傳成功的數據,後續可對該數據進行統計分析、數據處理或模型構建。

大數據分析基本工具(巧用大數據分析工具)5

更高性能的大文件數據上傳和解析

Tempo AI提供的文件輸入算子采用了分片技術,可以根據文件大小,将大文件數據通過統一的數據大小進行分片,實現大文件數據的快速上傳和解析。10M數據0.1秒就可完成上傳,對于500M文件需要8s可以完成上傳,對于1G的數據僅需要20s即可完成文件的上傳。

更智能的批量文件上傳

以往當我們需要處理批量數據文件時,最讓人頭疼的就是如何将批量數據文件高效率上傳。Tempo AI的批量文件輸入功能,支持一次性讀取多個文件,幫助用戶快速實現批量文件上傳和批量數據文件的智能處理。

比如當我們針對企業财務數據進行分析時,假設每個部門的獎金記錄是一張表,想将所有的獎金記錄彙總成一張表,就可以使用批量文件上傳,打開批量文件上傳節點,選擇對應的文件類型為xlsx,選擇多個用戶文件,點擊确認上傳。

大數據分析基本工具(巧用大數據分析工具)6

這裡可以針對每張表通過可視化操作界面完成配置信息,比如起始行、起始列、是否去掉引号、是否提取表頭,是否覆蓋同名文件,設置完成之後,點擊确定

大數據分析基本工具(巧用大數據分析工具)7

對于多個文件可選擇主表,點擊确定

大數據分析基本工具(巧用大數據分析工具)8

流程執行成功之後,在洞察中我們可以看到,Tempo平台已經直接按照不同的員工、部門屬性,展示四個季度下的獎金情況,無需人工進行再進行任何合并處理。

大數據分析基本工具(巧用大數據分析工具)9

,

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved