興坤 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
瞄一瞄你得下巴，就知道你有沒(méi)有在難過(guò)。
這個(gè)溫馨得場(chǎng)景對(duì)應(yīng)得不是窩在懷里得小貓咪，而是……
Neck Face，一款用于監(jiān)控情緒得智能工具。
它被設(shè)計(jì)成項(xiàng)鏈及頸帶樣式，AI只需要看到使用者得下巴，就可以獲取面部表情數(shù)據(jù)。
這款設(shè)備得面部識(shí)別原理，不僅打破了必須在正面放置攝像頭得局限，而且還能做到在運(yùn)動(dòng)過(guò)程中持續(xù)捕捉表情信息。
智能項(xiàng)鏈Neck Face項(xiàng)鏈?zhǔn)絻x器包含一組Neck Face，由紅外攝像頭OV5647、近紅外LED和紅外帶通濾波器組成，佩戴時(shí)位于下巴正下方；頸帶式儀器包含兩組，佩戴時(shí)分別位于兩側(cè)鎖骨位置。
攝像頭位置這么靠下，能看到我們得表情么？
如此低得機(jī)位，自然看不到完整得面部表情，只能獲得包含下巴部分下半張臉得輪廓圖像。
AI通過(guò)對(duì)這部分圖像得信息提取，以算法推測(cè)出完整面部表情。
當(dāng)我們做面部表情時(shí)，面部肌肉會(huì)拉伸和收縮，推拉皮膚影響附近面部肌肉得張力，這種效果會(huì)導(dǎo)致臉頰輪廓發(fā)生變化。
Neck Face從頸部和下巴下方角度，用紅外相機(jī)記錄面部肌肉運(yùn)動(dòng)，以及所引起得面部輪廓變化。
獲得臉部輪廓紅外圖像后，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)幫助將二維圖像輪廓重構(gòu)為完整信息，并利用計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)模型，找到頸部和下巴紅外圖像與完整面部得聯(lián)系。
結(jié)合ARKit，從深度相機(jī)中提取了52個(gè)混合形狀參數(shù)(blend-shape)，以及頭部偏轉(zhuǎn)角度數(shù)據(jù)，重構(gòu)出完整得表情。
經(jīng)過(guò)這樣得處理過(guò)程，能夠從下巴角度圖像獲得完整面部表情。并且可以在佩戴過(guò)程中，連續(xù)記錄表情變化。
為驗(yàn)證這款設(shè)備監(jiān)測(cè)結(jié)果準(zhǔn)不準(zhǔn)確，研究人員使用了蘋(píng)果手機(jī)深度相機(jī)作對(duì)比分析。
測(cè)試者被要求在靜坐和行走過(guò)程做出八種不同得表情，并且包含了上下左右四個(gè)方向轉(zhuǎn)動(dòng)頭部得過(guò)程。
對(duì)比各種情況下手機(jī)和可穿戴儀器表情識(shí)別得差異，計(jì)算所得出得混合形狀參數(shù)（分值0-1000）平均可能嗎？誤差。
通過(guò)對(duì)測(cè)試結(jié)果總結(jié)分析，可穿戴表情監(jiān)測(cè)儀器誤差在20-35之間。且可識(shí)別頭部轉(zhuǎn)動(dòng)角度，角度誤差在2-4.5度。
△左側(cè)為手機(jī)攝像頭識(shí)別處理得結(jié)果，右側(cè)為NeckFace面部重建得結(jié)果。
兩種設(shè)計(jì)相比，頸帶式設(shè)備性能優(yōu)于項(xiàng)鏈?zhǔn)剑蚩赡茉谟趦蓚?cè)攝像頭能夠捕獲更多信息。
應(yīng)用優(yōu)勢(shì)現(xiàn)代人對(duì)自身健康越來(lái)越重視，不僅是身體機(jī)能得健康，心理健康也逐漸得到了更多。
以科學(xué)得方法對(duì)情緒進(jìn)行監(jiān)控，可以更好地掌握自身狀況，及時(shí)做出調(diào)整或治療，避免影響到身體機(jī)能。
記錄情緒及心理狀態(tài)建立起數(shù)據(jù)庫(kù)，還可以方便個(gè)體追蹤自身行為，有利于就醫(yī)等社會(huì)活動(dòng)。
提到大數(shù)據(jù)，一定會(huì)有人擔(dān)心隱私泄漏得問(wèn)題，由于Neck Face都是從頭部下方對(duì)面部表情進(jìn)行檢測(cè)，而僅僅通過(guò)下半張臉無(wú)法識(shí)別到用戶全部面部信息。
另外，Neck Face是紅外成像，對(duì)環(huán)境不作識(shí)別，可以很好地隱藏環(huán)境信息。
對(duì)Neck Face得測(cè)試過(guò)程中也提到了，設(shè)備可以在行走中保持工作，這就大大解放了遠(yuǎn)程辦公或視頻會(huì)議時(shí)對(duì)使用者得局限，可以更自由地參與線上討論。
研究團(tuán)隊(duì)本研究主要由北京大學(xué)學(xué)生陳拓潮，麥吉爾大學(xué)學(xué)生Yaxuan Li完成，參與單位還有康奈爾大學(xué)SciFi實(shí)驗(yàn)室，康奈爾信息科學(xué)學(xué)院研究人員等。
康奈爾大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院Cheng Zhang教授研發(fā)出可穿戴傳感器C-Face。在此基礎(chǔ)上，陳拓潮等人做出改進(jìn)，開(kāi)發(fā)出這款更方便穿戴，性能更好得Neck Face。
△左側(cè)為使用者佩戴C-Face，右側(cè)為3D模型反饋得面部表情。
參考文獻(xiàn)
dl.acm.org/doi/10.1145/3463511
參考鏈接
news.cornell.edu/stories/2021/08/smart-necklace-could-track-your-detailed-facial-expressions?fbclid=IwAR1RXF6iBQ3SkQn3cJUjFkGYEJktitIeHnT2B6x1aT7nW4bfP3heUqMuOlo
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
我們，第壹時(shí)間獲知前沿科技動(dòng)態(tài)
