999精品,丝袜综合,大陆老熟妇性,中国老女人AV,亚洲精品国产第一区二区三区

深度神經(jīng)網(wǎng)絡(DeepNeuralNetworks,DNNs)由于跨域不匹配(cross-domain mismatch)，通常在新域表現(xiàn)不佳。而無監(jiān)督域自適應(UDA)技術則可通過利用未標記的目標域樣本緩解跨域不匹配問題。近日，特斯聯(lián)科技集團首席科學家、特斯聯(lián)國際總裁邵嶺博士及合作者們提出了基于類別對比的新穎方法Category Contrast(CaCo)，并公布了所取得的最新研究成果。該方法在視覺UDA任務的實例判別之上引入了語義先驗。該研究成果(標題為:Category Contrast for Unsupervised Domain Adaptation in Visual Tasks)已被今年的AI頂會CVPR(國際計算機視覺與模式識別會議)收錄。

通過將實例對比學習視為字典查詢操作，團隊利用源域和目標域的樣本構建了一個類別感知(category-aware)和域混合(domain-mixed)的字典，其中每個目標樣本會根據(jù)源域樣本的類別先驗被分配一個(偽)類別標簽，并為UDA提供了相應的類別對比損失(category contrastive loss)。由此鼓勵學習完全契合UDA目標的，具有類別判別力但域不變的(category-discriminative yet domain-invariant)表征：同類別樣本(無論是來自于源域或者目標域)的距離被拉得更近的同時不同類別樣本的距離會被推遠。在多種視覺任務(例如分割、分類和檢測)中進行的大量實驗表明CaCo實現(xiàn)了與當前最先進的算法相比更卓越的性能。此外，實驗也顯示CaCo可以作為現(xiàn)有UDA方法的補充，并可推廣到其它的學習方法中，如無監(jiān)督模型適應、開放/半開放集域自適應等。

無監(jiān)督域自適應緩解跨域不匹配

無監(jiān)督域自適應(UDA)的目的在于通過利用未標記的目標域樣本減少輕跨域不匹配問題的影響。為了實現(xiàn)這一目的，科研工作者們針對目標域樣本設計了不同的無監(jiān)督訓練目標函數(shù)，以在目標域中訓練出一個性能良好的模型。現(xiàn)有的無監(jiān)督損失可以大致分為三類1)對抗性損失函數(shù)(adversarial loss)：迫使模型學習類似源域的目標表征；2)圖像轉換損失函數(shù)(image translation loss)，將源圖像轉換為具有類似目標的樣式和外觀；3)自訓練損失(self-training loss)，用置信度較高的偽標記樣本迭代地重新訓練網(wǎng)絡。

無監(jiān)督表征學習解決了一個相關問題，即無監(jiān)督網(wǎng)絡預訓練，旨在從未標記的數(shù)據(jù)中學習有判別力的嵌入。近年來，實例對比學習在無監(jiān)督表征學習方面取得了重大進展。盡管動機不同，實例對比方法可以被看作是一種字典查詢式任務，通過將編碼查詢(encoded query)q與由多個編碼鍵(encoded keys)k構成的字典匹配來訓練視覺編碼器：編碼查詢應與編碼的正鍵(encoded positive keys)相似，而與編碼的負鍵(encoded negative keys)相異。由于沒有可用于未標記數(shù)據(jù)的標簽，正鍵通常是查詢樣本的隨機增強版本，而所有其他樣本都被視為負鍵。

在這樣的背景下，邵嶺博士及團隊探究了UDA中實例對比的概念。在把對比學習看作字典查詢?nèi)蝿盏幕A上，團隊假設UDA字典應該是類別感知的(category-aware)，并且應該與來自源域和目標域的鍵進行域混合(domain-mixed)。直觀來說，一個包含類別平衡鍵(category-balanced keys)的可感知類別的字典可以促進學習類別判別力(category-discriminative)但類別無偏的(category-unbiased)表征，而來自源域和目標域的鍵將允許學習兩個域內(nèi)和跨域的不變表征，這兩點都與UDA的目標相符。

以類別對比方法構建具有類別感知和域混合的字典

團隊提出，用類別對比方法(CaCo)來構建具有類別感知和域混合的字典，并為UDA提供相應的對比損失函數(shù)。如圖1所示，該字典包含在類別和域中均勻采樣的鍵，其中每個目標鍵都有一個預測的偽類別。以說明性字典K={

(相關資料圖)

}1≤c≤C,1≤m≤M為例。每個類別c都含有M個鍵而每個域含有(C×M)/2個鍵。

圖1

圖 1中，團隊提出的類別對比方法通過類別對比損失函數(shù)

將查詢q(來自未標記的目標樣本

)與由鍵組成的字典相匹配，來訓練一個無監(jiān)督域自適應編碼器。字典鍵來自源域

(圖中紅字，帶標簽)和目標域

(圖中藍字，帶偽標簽)的域混合，這樣可以學習域內(nèi)和跨域的不變表征。這些鍵也是類別感知和類別平衡的，這樣可以學習類別具有類別區(qū)分力的但無偏的表征。注意類別平衡指每個查詢q與字典中的所有鍵(在損失計算中)相比較，這些字典鍵均勻分布在所有的數(shù)據(jù)類別中，緩解了數(shù)據(jù)不平衡。

因此，網(wǎng)絡學習將努力最小化目標查詢和字典鍵之間的類別對比損失

：相同類別的樣本被拉近而不同類別的樣本被推遠。這自然會產(chǎn)生完全符合UDA目標的，具有類別判別力的但域不變的表征。

在類別感知和域混合字典以及類別對比損失函數(shù)的應用下，所提出的類別對比通過三個理想的特征來解決UDA挑戰(zhàn)：1)利用類別感知字典設計，同時最小化類別內(nèi)變化并最大化類別間距離；2)依靠同時包含源域樣本和目標域樣本的混合域字典設計同時實現(xiàn)了域間和域內(nèi)對齊；3)依靠類別平衡字典設計有效緩解了數(shù)據(jù)平衡問題，使得在學習過程中均勻計算所有類別的對比損失。

大量實驗結果表明類別對比方法展現(xiàn)優(yōu)異性能

團隊分享了其實驗結果，分為以下幾個維度。

泛化能力：團隊通過評估CaCo在多個基礎視覺UDA應用，即分割、檢測和分類，中的性能效果來研究它的泛化能力。實驗結果顯示CaCo始終展現(xiàn)出了與當前最先進的方法相當?shù)男阅堋?/p>

互補能力：團隊探究了CaCo與現(xiàn)有的UDA方法相結合的協(xié)同優(yōu)勢。這表明當加入CaCo時，可以在不同的視覺任務中一致地改進所有現(xiàn)有方法。

與現(xiàn)有的無監(jiān)督表征學習方法對比：團隊將CaCo與無監(jiān)督表征學習方法用于UDA任務以進行對比。大多數(shù)現(xiàn)有的方法通過某些前置任務實現(xiàn)了無監(jiān)督表征學習，比如說實例對比學習、圖像塊排序(patch ordering)、旋轉預測和降噪/上下文/著色自編碼器。在UDA任務GTA→Cityscapes上進行的實驗顯示了現(xiàn)有的無監(jiān)督表征學習應用于UDA任務時效果不理想。主要原因是這些方法是針對學習可用于判別實例的表征(instance-discriminative representations)而設計的，并沒有考慮到語義先驗和域間隙(domain gaps)。CaCo也被用于進行無監(jiān)督學習，應用于UDA時更有效，很大程度上是因其學習了具有類別判別力且域不變的表征，而這些表征對于多種視覺UDA任務是至關重要的。

參數(shù)研究：參數(shù)M(在提出的CaCo中)控制了分類別字典的長度(或者說大小)。團隊將M從50逐漸調(diào)至150，對其進行了研究。在UDA分割任務GTA-to-Cityscapes上進行的實驗顯示了M在50至150之間進行調(diào)整時，對UDA的影響并不明顯。

不同學習類型中的泛化：團隊從學習類型的角度研究了所提出的CaCo的可擴展性。具體而言，團隊把CaCo應用于多種涉及無標簽數(shù)據(jù)學習和某些語義先驗的任務，如無監(jiān)督模型自適應和半開放集/開放集UDA，并對其進行評估。結果顯示CaCo的可以穩(wěn)健展現(xiàn)與當前最先進的方法相當?shù)男阅堋?/p>

類別感知字典:團隊研究了提出的類別感知字典的3種變體設計:1)為所有的鍵分配同樣的溫度參數(shù)；2)(對于源數(shù)據(jù)和目標數(shù)據(jù))使用兩個獨立的字典而不是一個單獨的域混合字典；3)使用內(nèi)存庫或當前小批量(current mini-batch)來更新字典。實驗證實了設計的優(yōu)越性。

總體而言，邵嶺博士及團隊提出了一種類別對比方法CaCo，該方法引入了通用的類別對比損失函數(shù)(generic category contrastive loss)，可有效用于多種視覺UDA任務。團隊用來自源域和目標域的樣本構建了一個語義感知字典，域中的每一個目標樣本都根據(jù)源域樣本的類別先驗被分配了一個(偽)類別標簽。這使得(目標查詢和類別級的字典間的)類別對比學習可以學習具有類別判別力且域不變的表征：同類別的樣本(無論是來自于源域或者目標域)會被拉近而不同類別的樣本被同時推遠。在多種視覺任務(例如分割、分類和檢測)中進行的大量實驗顯示單獨使用CaCo就可以展現(xiàn)出與當前最先進的方法相當?shù)男阅堋Ａ硗?，實驗也顯示CaCo可以與現(xiàn)有的UDA方法互補，也可以外推至其他的學習類型，如無監(jiān)督模型自適應、開放/半開放集域自適應等。