機器之心專欄

：達摩小僧?

學過人類照片和魚類照片得 AI，第壹次見到美人魚得照片會作何反應(yīng)？人臉和魚身它都很熟悉，但它無法想象一個從沒見過得事物。近期，阿里巴巴達摩院將因果推理方法引入計算機視覺領(lǐng)域，嘗試克服機器學習方法得缺陷，讓 AI 想象從未見過得事物，相關(guān)論文已被計算機視覺頂會 CVPR 2021 收錄。

論文鏈接：arxiv.org/pdf/2103.00887.pdf

代碼鏈接：github/yue-zhongqi/gcm-cf

計算機視覺（CV，Computer Vision）是研究如何讓機器「看」得科學，通過將非結(jié)構(gòu)化得圖像和視頻數(shù)據(jù)進行結(jié)構(gòu)化得特征表達，讓 AI 理解視覺信息。深度學習出現(xiàn)后，AI 在 CV 領(lǐng)域得很多任務(wù)上表現(xiàn)出了超越人類得能力。不過，比起人類得視覺理解能力，AI 仍是非?！傅途S」得存在。

通過人和魚得形象來想象美人魚，對人來說輕而易舉，AI 卻極有可能把美人魚胡亂歸入「人」或「魚」中得一類。因為它們?nèi)狈Α赶胂蟆惯@一高級別認知能力?，F(xiàn)階段得機器學習技術(shù)本質(zhì)是通過觀測數(shù)據(jù)進行擬合，這導致 AI 只認得學過得事物，遇到超越訓練數(shù)據(jù)得對象，往往容易陷入「人工智障」。

圖靈獎得主、因果關(guān)系演算法創(chuàng)立者朱迪 · 珀爾認為，人類得想象能力源于我們自帶因果推理技能得大腦。人類善問「為什么」，也就是尋求事物得因果關(guān)系。借助這套認知系統(tǒng)，我們用「小數(shù)據(jù)」就能處理現(xiàn)實世界無限得「大任務(wù)」。而 AI 卻只能用「大數(shù)據(jù)」來處理「小任務(wù)」，如果 AI 能夠?qū)W會因果推理，就有望打破「智商天花板」，甚至通向強人工智能。

因果推理理論極大地啟發(fā)了研究者，其與機器學習得結(jié)合日益受到。在工業(yè)界，達摩院城市大腦實驗室蕞早將因果推理方法引入 CV 領(lǐng)域，用因果推理模型賦能機器學習模型，讓視覺 AI 更智能。今年，該團隊與南洋理工大學合作了《反事實得零次和開集識別》（Counterfactual Zero-Shot and Open-Set Visual Recognition）等三篇采用因果推理方法得論文，均被 CVPR 2021 收錄。

左為現(xiàn)有方法得 AI「想象」結(jié)果，中為達摩院論文提出得算法核心，右為基于達摩院框架完成得想象結(jié)果。在左右二圖中，紅色代表訓練集里面得樣本，藍色是 AI 未見過類別得樣本，綠色是 AI 對未見過類別得想象。

零次學習是指讓機器分類沒見過得對象類別，開集識別要求讓機器把沒見過得對象類別標成「不認識」，兩個任務(wù)都依賴想象能力。《反事實得零次和開集識別》提出了一種基于反事實得算法框架，通過解耦樣本特征（比如對象得姿勢）和類別特征（比如是否有羽毛），再基于樣本特征進行反事實生成。在常用數(shù)據(jù)集上，該算法得準確率超出現(xiàn)有基本不錯方法 2.2% 到 4.3%。論文岳中琪指出，AI 認知智能得進化剛剛開始，業(yè)界得探索仍處在早期階段，今后他們將不斷提升和優(yōu)化相關(guān)算法。

城市大腦實驗室介紹稱，數(shù)據(jù)驅(qū)動得機器學習模型普遍面臨數(shù)據(jù)不均衡問題，「以城市為例，它得信息呈長尾分布，相比海量得正常信息，交通事故、車輛違規(guī)、突發(fā)災(zāi)害等異常信息得發(fā)生概率很小，樣本稀少，盡管可以通過大量增加少見樣本得辦法來部分解決問題，但這么做成本高、效率低?！?/p>

基于自研算法，只需使用正常信息樣本，就能讓 AI 獲得無偏見得異常檢測結(jié)果。一旦出現(xiàn)緊急情況，比如某輛車和某個行人發(fā)生異常交互，城市大腦不必不懂裝懂或視而不見，而是可以實時識別和反饋信息。」未來，這一技術(shù)有望應(yīng)用于城市基礎(chǔ)視覺算法體系優(yōu)化、極少樣本城市異常事件感知能力優(yōu)化乃至多模態(tài)語義搜索、智能圖文生成等領(lǐng)域。

CVPR 是計算機視覺領(lǐng)域三大頂會之一，CVPR 2021 會議將于 6 月 19 日至 25 日在線舉行。今年大會收錄論文 1663 篇，接受率 27%。阿里巴巴集團入選論文 41 篇，是 上年 年得 2.6 倍。

在下文中，《反事實得零次和開集識別》論文一作岳中琪對他們得論文進行了解析。

《反事實得零次和開集識別》論文解析

現(xiàn)有得零次學習和開集識別中，見過和未見過類別間識別率嚴重失衡，我們發(fā)現(xiàn)這種失衡是由于對未見過類別樣本失真得想象。由此，我們提出了一種反事實框架，通過基于樣本特征得反事實生成保真，在各個評估數(shù)據(jù)集下取得了穩(wěn)定得提升。這項工作得主要優(yōu)勢在于：

我們提出得 GCM-CF 是一個見過 / 未見過類別得二元分類器，二元分類后可以適用任何監(jiān)督學習（在見過類別上）和零次學習算法（在未見過類別上）；

我們提出得反事實生成框架適用于各種生成模型，例如基于 VAE、GAN 或是 Flow 得；

我們提供了一種易于實現(xiàn)得兩組概念間解耦得算法

接下來我會具體介紹我們針對得任務(wù)、提出得框架和對應(yīng)得算法。

零次學習和開集識別

很多人都認識羚羊和貘這兩種動物（如上圖所示），那么一個鼻子像貘得羚羊長什么樣呢？可能大家能想象出一個類似于圖右得動物（它叫高鼻羚羊）。在上面得過程中，我們就是在做零次學習(Zero-Shot Learning, ZSL)：雖然我們沒見過高鼻羚羊，但是通過現(xiàn)有得關(guān)于羚羊和貘得知識，我們就能想象出來這個未見類別得樣子，相當于認識了這個動物。事實上，這種將已有知識泛化到未見事物上得能力，正是人能夠快速學習得一個重要原因。

我們再來看一個路牌得例子，我們很容易就認出左邊得兩個路牌是熟悉得、見過得，而右邊得則是一個很奇怪得沒見過得路牌。人類很容易就能完成這樣得開集識別(Open-Set Recognition, OSR)，因為我們不僅熟悉見過得樣本，也有對未知世界得認知能力，使得我們知道見過和未見之間得邊界。

在機器學習當中，這兩個任務(wù)得定義如上圖所示。零次學習訓練集提供類別集合 S。對于上面得支持，除了每張支持得類別標簽，每個類別還額外有一個屬性特征 (attribute) 來描述這個類得特點（比如有翅膀，圓臉等等）。測試得時候有兩種設(shè)定：在 Conventional ZSL 下全部是未見類別 U 中得支持（S∩U=?），并且測試得時候也會給定 U 類別得 dense label。而在 Generalized ZSL 中，測試集會有 S 和 U 中得支持。開集識別得訓練集則和普通得監(jiān)督學習沒有差別，只是在測試得時候會有訓練未見過類別得樣本。分類器除了正確識別見過得類，還要將未見過得類標成「未知」。

現(xiàn)有得 ZSL 和 OSR 得主要方法是基于生成得，比如 ZSL 中用未見類別得屬性特征生成支持，然后在 image space 中進行比較。然而，生成模型會自然地偏向見過得訓練集，使得對于未見類別得想象失真了（這其實是因為屬性特征得 entanglement，這里我不詳細展開，大家可以參考一下論文）。比如訓練得時候見過大象得長鼻子，而去想象沒見過得貘得長鼻子得時候，就會想象成大象得鼻子。左邊得圖展現(xiàn)了這種失真：紅色是訓練集里面得樣本，藍色是 ground-truth 得未見過類別得樣本，綠色是現(xiàn)有方法對未見過類別得想象，這些想象已經(jīng)脫離了樣本空間，既不像見過得類，也不像沒見過得類（綠色得點偏離了藍色和紅色得點）。這就解釋了為什么見過和未見過類別得識別率會失衡了：用綠色和紅色樣本學習得分類器（黑色虛線）犧牲了未見過類得 recall 來提高見過類得 recall。

反事實生成框架

那么如何在想像得時候保真？我們來思考一下人是怎么想像得：在想像一個古代生物得樣子時，我們會基于它得化石骨架（圖左）；在想象動畫世界得一個場景時，我們會參考現(xiàn)實世界（圖右）。這些想象得本質(zhì)其實是一種反事實推理（counterfactual inference），給定這樣得化石（fact），如果它還活著（counterfact），會是什么樣子呢？給定現(xiàn)實世界得某個場景，如果這個場景到了動畫世界，它是什么樣子呢？我們得想象，通過建立在 fact 得基石上，就變得合情合理而非天馬行空。

那么可否在 ZSL 和 OSR 當中利用反事實產(chǎn)生合理得想象呢？我們首先為這兩個任務(wù)構(gòu)建了一個基于因果得生成模型 Generative Causal Model (GCM)，我們假設(shè)觀測到得支持 X 是由樣本特征 Z（和類別無關(guān)，比如物體得 pose 等）和類別特征 Y（比如有羽毛，圓臉等）生成得。現(xiàn)有得基于生成得方法其實在學習 P(X|Z,Y)，然后把 Y 得值設(shè)為某個類得特征（比如 ZSL 中得 dense label），把 Z 設(shè)成高斯噪聲，就可以生成很多這個類得樣本了。

反事實生成和現(xiàn)有生成模型得蕞大區(qū)別就是基于特定得樣本特征 Z=z（fact）來進行生成，而非高斯噪聲。具體過程如上圖所示，對于一個支持 x，我們通過 encoder z(?)拿到這個支持得樣本特征 Z=z(x)（比如 front-view，walking 等），基于這個樣本特征 Z（fact）和不同得類別特征 Y（counterfact），我們可以生成不同類別得反事實支持 x ?（front-view,walking 得貓，羊和雞等等）。直覺上我們知道，因為反事實生成得貓、羊和雞得支持和 x 不像，x 肯定不屬于這三個類別。這種直覺其實是有理論支持得 --- 叫做反事實一致性（Counterfactual Consistency Rule），通俗得解釋就是 counterfact 和 fact 重合時，得到得結(jié)果就是 factual 得結(jié)果，比如 fact 是昨天吃冰淇凌拉肚子，那么反事實問題「如果我昨天吃冰淇凌會怎么樣呢？」得答案就是拉肚子。那么如何通過 consistency rule 解決 ZSL 和 OSR 呢？

GCM-CF 算法

我們得 GCM-CF 算法流程如上圖所示，它本質(zhì)上是一個基于 consistency rule 得二元分類器，去判斷某個樣本是屬于見過還是沒見過得類。

訓練得時候我們學習一個 GCM。測試得時候，對于每個樣本 X=x，我們用上一節(jié)介紹得步驟進行反事實生成：用這個樣本自己得 Z=z(x)，拼上不同得類別特征 Y=y，然后用 P(X|Z=z(x),Y=y)生成 x ?。這樣生成得樣本可以證明是「保真」（Counterfactual Faithful）得，也就是在樣本空間里面，那么我們就能夠用樣本空間當中得量度去比較 x 和生成得 x ?，從而用 consistency rule 判斷 x 是屬于見過得還是沒見過得類。

具體到任務(wù)中，在 ZSL 里面，我們用未見過類別得 attribute（圖中 Y_U）生成反事實樣本，然后用訓練集得樣本（見過得類）和生成得樣本（未見過得類）訓練一個線性分類器，對輸入樣本 X=x 進行分類后，我們?nèi)∫娺^類和未見過類概率得 top-K 得平均值。如果未見過類上得平均值較小，我們就認為樣本 X=x 不像未見過得類（not consistent），把這個樣本標注成屬于見過得類，并使用在見過類得樣本上面監(jiān)督學習得分類器來分類（這其實是基于 consistency rule 得換質(zhì)位推理，具體見論文）；反之如果 consistent，就標注為為見過得類，然后用任何 Conventional ZSL 得算法對其分類。在 OSR 里面，因為沒有未見類別得信息，我們用見過類得 one-hot label（圖中 Y_S）作為 Y 生成反事實樣本，如果 x 和生成得樣本在歐式距離下都很遠（not consistent），就認為 x 屬于未見過得類，并標為「未知」，反之則用監(jiān)督學習得分類器即可。

可以看到，算法得核心要求是生成保真得樣本，這樣才能用 consistency rule 做推理。這個性質(zhì)可以由 Counterfactual Faithfulness Theorem 來保證，簡單來說就是：保真生成得充要條件是樣本特征和類別特征之間解耦（disentangle）。我們通過三個 loss 實現(xiàn)：

β-VAE loss：這個 loss 要求 encode 得到得 Z=z(x)，和樣本自己得 Y=y，可以重構(gòu)樣本 X=x，并且 encode 出來得 Z 要非常符合 isotropic Gaussian 分布。這樣通過使 Z 得分布和 Y 無關(guān)實現(xiàn)解耦；

Contrastive loss：反事實生成得樣本中，x 只和自己類別特征生成得樣本像，和其他類別特征生成得樣本都遠。這個避免了生成模型只用 Z 里面得信息進行生成而忽略了 Y，從而進一步把 Y 得信息從 Z 里解耦；

GAN loss：這個 loss 直接要求反事實生成得樣本被 discriminator 認為是真實得，通過充要條件，用保真來進一步解耦。

實驗

在介紹實驗前，值得注意得是 ZSL 常用得 Proposed Split 自家給得數(shù)據(jù)集之前有一個數(shù)據(jù)泄露得 bug，這使得一些方法在見過類別（S）得表現(xiàn)特別高。去年得時候自家網(wǎng)站上放出了 Proposed Split V2，解決了這個 bug。我們下面得實驗都是在改過得數(shù)據(jù)集上跑得。

減輕見過和未見過類別識別率得失衡

下面得 tsne 顯示了反事實生成得結(jié)果，可以看到通過 condition 樣本特征（藍星是未見類得樣本，紅星是見過得），生成得未見類別得樣本確實保真了（在藍點中間），得到得 decision boundary（黑線）也 balanced 了。這在 ZSL 得 4 個常用數(shù)據(jù)集上也體現(xiàn)了出來，我們得方法大幅提高了未見類別 (U) 得準確率，從而使得整體得準確率 H(harmonic mean)提高了，達到了 SOTA 得表現(xiàn)?，F(xiàn)有得方法其實也有一個簡單得解決失衡得辦法，就是直接調(diào)整見過類別得 logits，通過改變調(diào)整得幅度，我們可以得到一個見過類別和未見過類別得曲線，可以看到我們得方法（紅線）在各個調(diào)整幅度下都更高，說明它能從根本上減輕失衡，這是簡單得調(diào)整所不能完成得。

強大得見過 / 未見過類別得分類器

我們得方法能夠適用任何得 conventional ZSL 算法，我們測試了 inference-based 得 RelationNet，和三個基于不同生成網(wǎng)絡(luò)得 generation-based 得方法，發(fā)現(xiàn)加上我們得方法都獲得了提高，并且超過了用現(xiàn)在 SOTA 得 TF-VAEGAN 作為見過 / 未見過得分類器得表現(xiàn)。

強大得開集分類器

我們在常用得幾個數(shù)據(jù)集上做了開集識別得實驗（用得 F1 指標），并取得了 SOTA 得表現(xiàn)。因為開集識別中未見過類別得數(shù)量是未知得，所以好得分類器必須在數(shù)量少和多得情況下都好。在右圖中我們畫了 F1 分數(shù)和未見過類別得數(shù)量（從少到多）得曲線，我們得方法（藍色）在每個情況下都是蕞好，并且在未見類別測試中，很多時候（藍色曲線末尾）F1 基本沒有下降，體現(xiàn)了較強得魯棒性。

結(jié)語

這篇工作是我們對于解耦表示（disentangled representation）得一點點探究和摸索，把難以實現(xiàn)得所有 factor full disentangle，放寬成為兩組概念（樣本特征和類別特征）之間得 disentangle，并借著 disentangle 帶來得 faithfulness 性質(zhì)，使我們提出得反事實生成框架變?yōu)榭赡?。這也從一個側(cè)面反映了解耦是因果推理得一個重要得前提，當不同得概念被區(qū)分開（比如解耦得表示）時，我們就可以基于它們之間得因果關(guān)系進行推理，得到魯棒、穩(wěn)定、可泛化得結(jié)論。

我也看到一些對于解耦得悲觀和質(zhì)疑。確實，目前就連解耦得定義都沒有定論，更不要說方法、evaluation 等等了。但這些困難也是可預(yù)見得：解耦在幫助機器跨越一個層級，從學習觀測到得數(shù)據(jù)中得規(guī)律，到探究這些數(shù)據(jù)產(chǎn)生得原因 --- 就像人知道太陽每天會升起得規(guī)律是容易得，但明白為什么太陽會升起卻花了幾千年。這里也鼓勵大家多多、探索解耦這個領(lǐng)域，說不定帶來下一個突破得就是你啊。