智東西(公衆号:zhidxcom)
編譯 | ZeR0
編輯 | 漠影
智東西9月30日消息,谷歌母公司Alphabet旗下頂級英國AI研究機構DeepMind又放大招了!
此次DeepMind聚焦天氣預報這一重大挑戰,與英國氣象局合作将AI應用于預測降雨,能比現有預測模型更準确地預測未來1-2小時内的降雨量。
DeepMind的AI模型提前90分鐘預測天氣事件
根據論文,DeepMind采用深度生成模型來實現精準降雨預測,使用NVIDIA V100 GPU,該模型隻需1.3秒即可生成一個全分辨率的臨近天氣預測樣本。
DeepMind研究團隊稱,氣象專家經評估表示,比起傳統方法,他們普遍更看好DeepMind提出的新AI模型,這為利用AI大大改善準确度的新天氣預報方法鋪平了道路。
這項研究剛剛發表于頂級學術期刊Nature上,題目為《用雷達深度生成模型進行有技巧的降雨臨近預報》,論文對模型、數據和驗證方法均進行了系統梳理及讨論。
此外,DeepMind已将訓練數據及一個預訓練的英國模型傳至GitHub。
鍊接:https://dpmd.ai/github_nowcasting
“今天晚上要下雨,記得帶傘!”像這樣圍繞天氣話題的讨論和叮囑,在人們的聊天中相當常見。
小到生活日常,大到災害預防,都需要天氣預報越早越好、越來越準确。但直至今日,預測降水降雨量,仍是氣象學家面臨的重大挑戰。
在中世紀,氣象學家首先使用恒星進行預測。慢慢地,記錄季節和降雨模式的表格開始保存。幾個世紀後,英國物理學家兼數學家劉易斯·弗萊·理查森設想了一個“預測工廠”(Forecast Factory),使用計算和大氣物理方程來預測全球天氣。
如今,在天氣預報系統中,DeepMind添加了“機器學習”這一新元素。
現代天氣預報是由數值天氣預報(NWP,numerical weather prediction)系統驅動的。通過求解物理方程,NWP能做到提前幾天預測未來天氣。這類方法通常在預測6小時到2周後的天氣時準确度很好,但在預測2小時内的天氣時準确度會下降。
現在,臨近預報填補了這個關鍵時間間隔的性能差距。
臨近天氣預報對于水管理、農業、航空、應急計劃和戶外活動等部門至關重要,支持了許多依賴天氣決策的行業的現實社會經濟需求。
天氣傳感技術的進步使測量地面降水量的高分辨率雷達數據能夠以高頻率提供(如每5分鐘1公裡分辨率)。現有方法難以解決的關鍵領域和高質量數據的可用性的結合,為機器學習在臨近預報中做出貢獻提供了機會。
近年來,已有幾種基于機器學習的方法問世,他們在雷達觀測的大數據集上訓練,目的是更好地模拟強降雨和其他難以預測的降雨現象。例如,谷歌與美國國家海洋和大氣管理局(NOAA)合作研究可能注入NOAA企業的機器學習系統,微軟還出資從曆史數據中識别重複的天氣和氣候模式,以改進次季節性和季節性預測模型。
在我國,彩雲天氣等天氣預報公司基于氣象雷達圖和AI算法,已經實現了分鐘級精準降水預報,短時降雨預報精度達1分鐘,預報範圍縮小至1公裡,預報準确率達80%~90%。
DeepMind專注于預測臨近降雨量:提前2小時預測降雨的數量、時間和地點。
研究人員采用一種類似于GAN的深度生成模型方法DGMR,以過去的雷達數據為基礎,對未來的雷達作出詳細和可信的預測。
從概念上講,這是一個生成雷達影像的問題。降雨深度生成模型DGMR學習了數據的概率分布,描述随機變量可能獲得的所有可能值,以從其學習的分布中生成“臨近預報”。
有了這些方法,研究團隊既可以準确地捕捉到大規模的降雨事件,同時也可以産生許多替代的降雨情景(也稱集成預測ensemble prediction),從而探索降雨的不确定性。研究期間,研究團隊使用了英國和美國的雷達數據。
在訓練過程,研究團隊通過比較CPU(10核心AMD EPYC)和GPU(NVIDIA V100)硬件的速度來評估采樣速度,發現生成每個樣本,CPU所用平均時間為23.7秒,GPU為1.3秒。
利用過去20分鐘的觀測雷達資料,用降雨深度生成模型(DGMR)提供未來90分鐘的概率預測。
DeepMind團隊在博客中提到:“我們特别感興趣的是這些模型對中到大雨事件的預測能力,這些事件對人們和經濟的影響最大。”他們展示了與競争方法相比,這些模型在統計方面的顯著改進。
為了驗證DGMR生成預測結果的精度,研究團隊準備了2個現有降雨預測模型,分别隐藏模型名,請英國國家氣象局的56名氣象預報專家來評估。
與其他主流臨近預測方法相比,DGMR對1536公裡乘1280公裡的區域做出了更現實、更一緻的預測,提前5~90分鐘進行預測。
“與廣泛使用的臨近預報方法相比,他們(56名氣象專家)在89%的案例中将我們的新方法評為他們的首選,這體現我們的方法有能力為現實世界決策者提供洞察力。”DeepMind研究人員寫道。相對于另外兩種競争方法,DGMR在準确性和實用性評估方面排名第一。
如圖所示,下圖左上角為觀測到的實際雨雲的移動,右上是DGMR模型生成的預測結果,相比降水強度過高的對流方法(PySTEPS)和模拟結果模糊的确定性深度學習方法(UNet),DGMR能更好地捕捉環流、強度和結構,并更準确地預測東北部的降雨量和運動,同時生成清晰的預測。
2019年4月英國上空的一個具有挑戰性的事件(目标是觀察到的雷達)
論文提到:“我們證明,生成式臨近預報可以提供概率預測,提高預測值,支持運營效用,并在解決方案和交付時間方面,替代方法難以做到。”
2019年4月美國東部的一次大降水事件(目标是觀測到的雷達)。生成方法DGMR平衡了降水強度和程度,相比之下,PySTEPS方法的強度往往過高,UNet的結果相對模糊。
天氣預報往往受多重因素影響,也許一個預測對了降雨位置但算錯強度,另一個預測在錯誤的位置預測對了強度等。在這項研究中,研究人員付出了很多努力,根據廣泛的指标來評估其算法。
DeepMind研究人員稱,DGMR可以預測由于潛在的随機性而本質上難以追蹤的天氣事件,還可以像調整任務的系統一樣準确地預測降雨的位置,同時保留對決策有用的屬性。
通過使用統計、經濟和認知分析,DeepMind展示了一種新的、有競争力的雷達降雨臨近預報方法。
“建模複雜現象、快速預測和代表不确定性的能力使AI成為環境科學家的強大工具。”DeepMind高級專職科學家Shakir Mohamed說。
他認為盡管現在還為時過早,但這次試驗表明,AI能讓預測人員不必将時間耗費在不斷增加的預測數據堆裡,而是專注于更好地了解其預測的影響。“這将是減輕當今氣候變化不利影響、支持适應不斷變化的天氣模式并可能拯救生命不可或缺的一部分。”
不過,任何方法都有局限性,需要做更多的工作來提高長期預測的準确性和對罕見和激烈事件的準确性。
因此研究團隊計劃在未來的工作中,開發更多的評估性能的方法,并進一步将這些方法專業化,以适應具體的現實應用。
DeepMind研究人員相信,這是一個令人興奮的研究領域,他們希望這篇論文能為新的工作提供數據和驗證方法,使提供有競争力的驗證和操作效用成為可能。
他們還希望與英國氣象局的合作将促進機器學習和環境科學的更大整合,并更好地支持應對氣候變化的決策。
AI和數據分析的價值正更多滲透到天氣預報領域。去年年初,華為雲與深圳市氣象局合作,采用AI方法将預測準确率提高10%~20%。借助AI及大數據,國内的彩雲天氣應用、蘋果去年4月收購的第三方天氣應用Dark Sky均實現了分鐘級的降雨預測,預測準确度還在不斷提升。
Facebook首席AI科學家Yann LeCun、知名AI科學家吳恩達均曾表示,緩解氣候變化和促進能源效率對于AI研究人員來說是值得的挑戰。
環境科學和AI之間的合作側重于決策者的價值,為臨近預報降雨開辟了新渠道,也體現出AI在不斷變化的環境中支持應對決策挑戰的機會。
從去年發布破解蛋白質折疊難題的AI蛋白質預測模型AlphaFold,到如今AI降雨預測模型DGMR再登Nature,DeepMind的AI研究愈發展現出解決關鍵科學問題的實際應用價值。
來源:DeepMind,Nature,VentureBeat
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!