tft每日頭條

 > 科技

 > flink和spark對比

flink和spark對比

科技 更新时间:2024-06-30 00:28:44

1、技術理念不同:Spark的技術理念是使用微批來模拟流的計算,基于Micro-batch,數據流以時間為單位被切分為一個個批次,通過分布式數據集RDD進行批量處理,是一種僞實時。而Flink是基于事件驅動,它是一個面向流的處理框架, Flink基于每個事件一行一行地流式處理,是真正的流式計算。 另外他也可以基于流來模拟批進行計算實現批處理,在技術上具有更好的擴展性。

2、時間機制:SparkStreaming隻支持處理時間, 折中地使用processing time來近似地實現event time相關的業務。使用processing time模拟event time必然會産生一些誤差, 特别是在産生數據堆積的時候,誤差則更明顯,甚至導緻計算結果不可用,Structured streaming 支持處理時間和事件時間,同時支持 watermark 機制處理滞後數據Flink 支持三種時間機制:事件時間、注入時間、處理時間、同時支持 watermark 機制處理遲到的數據,說明Flink在處理亂序大實時數據的時候,優勢比較大。

更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!

查看全部

相关科技资讯推荐

热门科技资讯推荐

网友关注

Copyright 2023-2024 - www.tftnews.com All Rights Reserved