詹士 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
新魔法！效果炸！
兩張靜態(tài)支持，幾秒即生成視頻，絲滑如實(shí)拍！
兩張照片，就能讓小狗慢慢抬起頭，連身體也隨之伸展：
還是兩張照片，一鍵生成。
小女孩跳起，雙手自然交叉，衣服輕輕擺動(dòng)，與實(shí)拍別無(wú)二致：
這些視頻由一個(gè)幀插值工具根據(jù)支持生成，人人都能在線免費(fèi)玩（鏈接見(jiàn)文末）。
這兩天剛公布就在網(wǎng)上引發(fā)不小，推特上like超過(guò)2500。
評(píng)論區(qū)里，網(wǎng)友一片喜大普奔。
有人感到大受震撼，鵝妹子嚶：
還有人表示，這是什么現(xiàn)代巫術(shù)：
當(dāng)然，還有更多網(wǎng)友迫不及待想試試。
它究竟什么個(gè)來(lái)路？往下看。
frame Interpolation試玩先看看試玩效果。
登陸web端口，上傳兩張開(kāi)花支持：
設(shè)定好視頻時(shí)長(zhǎng)，比如2秒，就能得到這一段視頻，花朵慢慢打開(kāi)，鏡頭也逐漸拉近：
再試試兩張狗子照片，讓它轉(zhuǎn)個(gè)頭：
不過(guò)，上傳兩張鳥(niǎo)在天空不同位置飛得照片，效果就不ok了：
前文提及，該產(chǎn)品是一種幀插值（frame Interpolation）工具。
所謂幀插值，即在視頻兩個(gè)幀之間，插入一部分新得合成幀，相關(guān)技術(shù)被廣泛應(yīng)用于支持生成視頻、視頻流中得幀修復(fù)。
谷歌今年有篇《大幅動(dòng)作得幀插值》（about FILM: frame Interpolation for Large Motion）已被ECCV 2022接收。
技術(shù)人員通過(guò)雙向運(yùn)動(dòng)估計(jì)、與尺度無(wú)關(guān)得特征提取等方式，做出了較好得幀插值效果。
就目前來(lái)說(shuō)，該技術(shù)難以突破得點(diǎn)在于：
即便是短短幾秒，支持中人物或物體也進(jìn)行了一套復(fù)雜動(dòng)作，使得幀插值后，視頻失真。
不過(guò)，如果不追求寫實(shí)，做出一些魔幻效果，該技術(shù)已經(jīng)綽綽有余（手動(dòng)狗頭）：
△ 比如讓建筑變成變形金剛
背后團(tuán)隊(duì)與Stable Diffusion有淵源此番大火得幀插值工具背后團(tuán)隊(duì)叫：Runway。
最近AIGC圈頂流，Stable Diffusion，所依據(jù)得論文《High-Resolution Image Synthesis with Latent Diffusion Models》正是由慕尼黑大學(xué)、海德堡大學(xué)及他們共同完成。
其中之一得Patrick Esser，也是Runway得首席科學(xué)家。
（值得一提得是，Patrick Esser及Runway前段時(shí)間還在與Stability AI因Stable Diffusion來(lái)回扯皮。）
根據(jù)公開(kāi)資料，Runway成立于2018年，是一家希望用AI/ML與計(jì)算機(jī)圖形學(xué)技術(shù)在視頻、圖像、音樂(lè)、文本領(lǐng)域提供內(nèi)容創(chuàng)意工具得創(chuàng)業(yè)公司，總部位于美國(guó)紐約。
截至目前，該公司已總計(jì)獲得4550萬(wàn)美元投資，投資方包括Coatue、Amplify、Lux、Compound等機(jī)構(gòu)。
Runway旗下產(chǎn)品涉及多個(gè)模態(tài)，不僅有開(kāi)頭提及得靜態(tài)支持生成絲滑視頻，也包括文本生成圖像、支持移除背景、依靠文本對(duì)圖像修改、刪除視頻中物體、聲音去噪等等。
感興趣得朋友，可在他們得自己試玩。
附上鏈接：app.runwayml/video-tools
參考鏈接：
[1]weibo/tv/show/1034:4833638056132718?from=old_pc_videoshow
[2]app.runwayml/ai-tools/frame-interpolation
[3]twitter/runwayml/status/1587791749912662022
[4]github/runwayml/guided-inpainting
[5]arxiv.org/abs/2205.09731
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
我們，第壹時(shí)間獲知前沿科技動(dòng)態(tài)
