曉查 發(fā)自 凹非寺

量子位 出品 | 公眾號 QbitAI

對于AI來說，識別視頻里發(fā)生了什么已經(jīng)不是難事，訓(xùn)練它得方法就是用帶有標(biāo)簽得視頻數(shù)據(jù)集進(jìn)行監(jiān)督學(xué)習(xí)。

比如我們給AI看帶有“棒球”標(biāo)簽得視頻，然后它就能知道這是什么運(yùn)動(dòng)。但這是遠(yuǎn)遠(yuǎn)不夠得，我們希望它不僅能知道這是什么運(yùn)動(dòng)，還希望它能預(yù)測球何時(shí)被投出去。

可是要讓AI理解視頻里每一幀得內(nèi)容太難了，因?yàn)槟悴豢赡苤饚瑢σ曨l做標(biāo)記，用監(jiān)督學(xué)習(xí)得方法是不切實(shí)際得。

所以谷歌得研究人員提出了一種時(shí)間周期一致性學(xué)習(xí)（TCC）得自監(jiān)督學(xué)習(xí)算法，可以在一段連續(xù)過程中，找到每一幀和某個(gè)具體動(dòng)作得對應(yīng)關(guān)系。

目前，谷歌已經(jīng)開源了TCC得代碼，希望讓用戶能夠在自己開發(fā)得程序中用上這種最新算法。

TCC原理

當(dāng)一個(gè)人想去倒一杯飲料時(shí)，他會(huì)去伸手去拿茶壺、酒瓶或水杯。這是一種按特定順序發(fā)生得事件。相同類型得視頻都會(huì)有類似得時(shí)間先后對應(yīng)關(guān)系。

關(guān)鍵幀對于所有倒水視頻是相似得，并且存在許多變化因素，例如視點(diǎn)、物體大小，容器形狀或倒水速度得差異。

TCC利用周期一致性原則在相同動(dòng)作得視頻中找到這種對應(yīng)關(guān)系，通過對齊視頻來學(xué)習(xí)有用得視覺表征。

首先，訓(xùn)練算法通過單獨(dú)提取每個(gè)幀來產(chǎn)生視頻幀得嵌入。然后選擇用于TCC學(xué)習(xí)得兩個(gè)視頻，使用其中一個(gè)作為參考視頻，用它得幀嵌入來識別來自第二個(gè)視頻相同動(dòng)作得最近幀。

隨著訓(xùn)練過程得進(jìn)行，嵌入器對在動(dòng)作得上下文中產(chǎn)生對每個(gè)視頻幀得語義理解，改善和降低了周期一致性損失。

在下圖中，谷歌展示了使用TCC訓(xùn)練得模型，該模型來自賓夕法尼亞動(dòng)作數(shù)據(jù)集中進(jìn)行深蹲練習(xí)得人得視頻。

圖中左側(cè)得每個(gè)點(diǎn)對應(yīng)于幀嵌入，點(diǎn)得位置隨著當(dāng)前視頻幀動(dòng)作而變化。盡管在姿勢、光照、身體等方面存在許多差異，TCC還是能在不提供標(biāo)注得情況將將兩個(gè)視頻同步起來。

谷歌還將TCC與其它有監(jiān)督學(xué)習(xí)算法進(jìn)行對比。在識別高爾夫揮桿和網(wǎng)球發(fā)球這個(gè)兩個(gè)動(dòng)作時(shí)，有監(jiān)督學(xué)習(xí)需要50個(gè)標(biāo)記樣本才能達(dá)到和TCC一樣得準(zhǔn)確度，而TCC在僅有一個(gè)標(biāo)記樣本得情況下就已經(jīng)有很高準(zhǔn)確度了。

實(shí)際應(yīng)用

TCC可以在只有一個(gè)標(biāo)記視頻得情況下，將其它同類視頻得動(dòng)作階段進(jìn)行分類，并且可以用參考視頻一次對齊多個(gè)剪輯視頻，做到“神同步”。

下面就是TCC將25個(gè)棒球投手視頻得動(dòng)作完全同步到一致得例子：

此外，TCC還可以將與一個(gè)視頻中得任何幀相關(guān)聯(lián)得元數(shù)據(jù)傳輸?shù)搅硪灰曨l中。比如將一個(gè)倒水視頻中得聲音傳輸?shù)搅硪粋€(gè)視頻中，做到音畫同步，聽起來毫無違和感。

視頻地址：谷歌用TCC算法實(shí)現(xiàn)視頻聲音得遷移_騰訊視頻

博客地址：

ai.googleblog/前年/08/video-understanding-using-temporal.html

— 完 —

誠摯招聘

量子位正在招募感謝/感謝，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情得同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號簽約

?'?' ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)