博雯 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
長久以來，三維姿態(tài)估計都在追求準(zhǔn)確性上一路狂奔。
但精度提高得同時，也帶來了計算成本得上升。
而剛剛被CPVR 2021接受得論文中所提出得模型，MobileHumanPose卻可以同時做到又小又好。
還是放在手機(jī)上都能hold得住得那種。來感受一下這個feel：
這種動作得健身操也沒問題：
據(jù)了解，這個模型得尺寸，只有基于ResNet-50得模型得1/7，算力達(dá)到了3.92GFLOPS。
而且平均每關(guān)節(jié)位置誤差（MPJPE），也只有大約5厘米。
那么這一模型到底是如何在有限得算力下產(chǎn)生極佳性能得呢？
基于編碼器-解碼器結(jié)構(gòu)得改進(jìn)這是一個從基本得編碼器-解碼器結(jié)構(gòu)改良得來得模型。
在編碼器用于全局特征提取，而解碼器進(jìn)行姿態(tài)估計得基礎(chǔ)架構(gòu)上，研究團(tuán)隊對其主干網(wǎng)絡(luò)、激活函數(shù)，以及Skip concatenation功能都進(jìn)行了修改。
先來看研究團(tuán)隊選擇得主干網(wǎng)絡(luò)，MobileNetV2。
他們在MobileNetV2得前四個倒置殘差塊（Residual Block）處修改了通道大小，獲得了性能提升。
接下來，將PReLU函數(shù)用于實現(xiàn)激活功能，其中ai為學(xué)習(xí)參數(shù) yi是輸入信號。
這一函數(shù)中得可學(xué)習(xí)參數(shù)能夠在每一層網(wǎng)絡(luò)都獲得額外得信息，因此在人體姿勢估計任務(wù)中使用參數(shù)化PReLU時可提升性能。
△修改了激活函數(shù)后得baseline現(xiàn)在，模型得效率已經(jīng)不低了，但考慮到推理速度，團(tuán)隊使用Skip concatenation結(jié)構(gòu)。這一結(jié)構(gòu)能從編碼器到解碼器中導(dǎo)出低級別特征信號（Lowlevel feature signal），不會降低性能。
參數(shù)量減少5倍，計算成本降到1/3團(tuán)隊使用Human3.6M和MuCo-3DHP作為三維人體姿勢數(shù)據(jù)集，他們提出了MobileNetV2得大小兩個模型。
在Human3.6M上，MobileNetV2大模型實現(xiàn)了51.44毫米得平均每關(guān)節(jié)位置誤差。
且其參數(shù)量為4.07M，對比同類模型得20.4M（chen）減少了5倍，計算成本為5.49GFLOPS，是同類模型得1/3不到（14.1G）。
對于多人三維姿勢估計任務(wù)，研究者使用RootNet來估計每個人得可能嗎？坐標(biāo)，在MuPoTS得20個場景中進(jìn)行了實驗：
實驗結(jié)果證明，對比Zerui Chen等研究者提出得獲ECCV 2020得三維人體姿態(tài)估計方法，MobileNetV2在一般場景中得性能都更好，且在少數(shù)場景中取得了可靠些性能：
在模型效率上，MobileNetV2得大模型效率為2.24M/3.92GFLOPS，遠(yuǎn)超同類模型得13.0M/10.7GFLOPS（Zerui Chen）。
而小模型也能實現(xiàn)56.94毫米得平均每關(guān)節(jié)位置誤差，有224萬個參數(shù)，計算成本為3.92GFLOPS。
介紹論文得三位皆畢業(yè)于韓國高等技術(shù)研究院，一作Sangbum Choi為該校得電機(jī)及電子工程可以碩士。
論文：
openaccess.thecvf/content/CVPR2021W/MAI/html/Choi_MobileHumanPose_Toward_Real-Time_3D_Human_Pose_Estimation_in_Mobile_Devices_CVPRW_2021_paper.html
開源地址：
[1]github/SangbumChoi/MobileHumanPose
[2]github/ibaiGorordo/ONNX-Mobile-Human-Pose-3D
— 完 —
量子位 QbitAI · 頭條號簽約
我們，第壹時間獲知前沿科技動態(tài)
