英偉達(dá)AI新玩法：將30fps慢動(dòng)作視頻變成240fps

英偉達(dá)嘗試使用AI技術(shù)將低幀數(shù)的視頻變成每秒240幀慢動(dòng)作視頻，預(yù)計(jì)將會(huì)在存儲(chǔ)容量有限的手機(jī)中應(yīng)用這樣的技術(shù)。

創(chuàng)建流暢的慢動(dòng)作視頻需要短時(shí)間捕捉多幀畫(huà)面，如果錄的幀數(shù)不夠，那么最終的慢動(dòng)作視頻看起來(lái)會(huì)很不流暢，大多數(shù)人并沒(méi)有昂貴的高速相機(jī)，不過(guò)英偉達(dá)試圖用AI技術(shù)來(lái)解決這個(gè)問(wèn)題。

芯片設(shè)計(jì)商英偉達(dá)的新研究通過(guò)深度學(xué)習(xí)將每秒30幀的視頻變成每秒240幀慢動(dòng)作。AI系統(tǒng)會(huì)查看兩個(gè)不同的幀，然后通過(guò)跟蹤從一幀到下一幀的對(duì)象移動(dòng)來(lái)填充中間幀，并且能夠產(chǎn)生非常準(zhǔn)確（不完美）的結(jié)果。

“雖然現(xiàn)在已經(jīng)可以用手機(jī)拍攝每秒240幀的視頻，但以高幀率記錄所有內(nèi)容是不切實(shí)際的，因?yàn)樗枰笕萘康拇鎯?chǔ)器，而且對(duì)于移動(dòng)設(shè)備而言功耗很大，”研究人員在一篇論文中寫(xiě)道，“出于這些原因和其他原因，從現(xiàn)有視頻中生成高質(zhì)量的慢動(dòng)作視頻非常令人感興趣。”

但這種技術(shù)也有限制。首先，研究人員必須訓(xùn)練他們的深度學(xué)習(xí)系統(tǒng)來(lái)處理特定類(lèi)型的素材。因此，為了獲得汽車(chē)在水中滑行的慢速視頻，他們必須首先用相似的鏡頭進(jìn)行訓(xùn)練。另外，這種技術(shù)不能產(chǎn)生無(wú)限數(shù)量的中間幀。沒(méi)有數(shù)據(jù)，計(jì)算機(jī)就不可能預(yù)測(cè)真實(shí)世界物體的運(yùn)動(dòng)和行為。但是，英偉達(dá)的系統(tǒng)可以產(chǎn)生多達(dá)7個(gè)中間幀，足以創(chuàng)造不錯(cuò)的慢動(dòng)作。

預(yù)計(jì)不久的將來(lái)，手機(jī)相機(jī)中會(huì)出現(xiàn)類(lèi)似的功能。