時空視頻預測是指利用歷史視頻數據生成未來視頻幀的過程，在自動駕駛、氣候與環(huán)境監(jiān)測等現實場景中有廣泛的應用。然而現有的時空視頻預測方法面臨著諸多挑戰(zhàn)，為此特斯聯(lián)人工智能研發(fā)中心引入了一種能夠生成高質量視頻預測的物理輔助時空網絡以應對相應局限。目前，該研究成果已被人工智能領域學術會議ACM Multimedia收錄，題為：PastNet：Introducing Physical Inductive Biases for Spatio-temporal Video Prediction。
不同視頻預測方法在MovingMNIST上的性能比較。團隊所提出的PastNet在訓練時間和圖像質量方面優(yōu)于此前模型。具體而言，PastNet在訓練100個周期時實現了最低的均方誤差(MSE)和最高的多尺度結構相似性(MS-SSIM)分數，并且其訓練時間明顯短于其他模型。且，PastNet在訓練過程中消耗時間最少。
以下為論文原文摘錄：
在該論文中，團隊研究了時空視頻預測的挑戰(zhàn)，涉及基于歷史數據流生成未來視頻。現有的方法通常利用如語義地圖的外部信息來改善視頻預測質量。然而這種方法往往忽略了視頻內容本身所蘊含的物理特性。加之，此類方法的高計算要求也限制了其在高分辨率視頻處理中的應用。
為了克服前述局限，特斯聯(lián)人工智能研發(fā)中心引入了一種能夠生成高質量視頻預測的物理輔助時空網絡(PastNet，Physics-assisted Spatio-temporal Network)，以生成高質量的視頻預測。PastNet的核心在于其在傅立葉域中引入了光譜卷積算子。該設計巧妙地將基本物理定律作為歸納偏置融入其中。與此同時，通過采用具備估算內在維度能力的存儲體來離散化局部特征，PastNet能夠在處理復雜時空信號時顯著簡化計算開銷，從而支持更高效、更高分辨率的視頻預測。
該研究成果在廣泛的實驗中展現出了相較于眾多前沿技術更為突出的有效性和效率，尤其在處理高分辨率場景時表現優(yōu)異。所提出的PastNet模型在諸多現實場景中具備廣泛的潛在應用價值，例如：
氣候科學領域：PastNet能夠預測氣候變化和天氣模式，對于災害預警、農業(yè)規(guī)劃和資源管理等方面具有重要意義。
自動駕駛領域：PastNet可以預測車輛、行人和其他物體的位置和運動，這對于自動駕駛系統(tǒng)的決策和路徑規(guī)劃至關重要。
應急響應領域：在緊急情況下，如火災或自然災害，PastNet可以預測事件的發(fā)展，幫助救援團隊制定更有效的救援計劃。
轉自：中國網
【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業(yè)經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業(yè)宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯(lián)系：010-65363056。
延伸閱讀
上半年汽車工業(yè)多項經濟指標創(chuàng)新高
