星辰視界：智慧眼AI Lab之小樣本學(xué)習(xí)
當(dāng)深度學(xué)習(xí)知名于業(yè)界時(shí)，存在于深度學(xué)習(xí)和人類智能的一個(gè)顯著差異亦為大眾所知：人類可以從很少的資源中學(xué)習(xí)或識(shí)別一個(gè)概念，而深度學(xué)習(xí)則需要大量的標(biāo)注樣本進(jìn)行訓(xùn)練才能得到一個(gè)滿意的效果。
但是在實(shí)際應(yīng)用場(chǎng)景中，能夠同時(shí)覆蓋時(shí)間、空間、顏色、形狀和行為等特征的數(shù)據(jù)少之又少，再加上數(shù)據(jù)標(biāo)注通常非常困難，小樣本深度學(xué)習(xí)（few-shot learning）也就應(yīng)運(yùn)而生了。
什么是小樣本深度學(xué)習(xí)？
一歲多的嬰兒，根據(jù)繪本的物體圖片，比如一把綠色的鏟子，在學(xué)習(xí)一兩次后，就可以爬到玩具堆里找到幾把不同形狀和顏色的鏟子，同時(shí)把繪本翻到對(duì)應(yīng)的頁(yè)面。
我們看到，人類具有只通過少量樣本或特征描述就可以識(shí)別物體的能力，受人類這種快速學(xué)習(xí)能力的啟發(fā)，研究人員希望機(jī)器學(xué)習(xí)也能夠只通過學(xué)習(xí)少量樣本就可以進(jìn)行快速建模，對(duì)不同的類別進(jìn)行區(qū)分，而且能在不改變模型參數(shù)的情況下，對(duì)新類別進(jìn)行識(shí)別，這就是小樣本學(xué)習(xí)（few-shot learning）。
小樣本學(xué)習(xí)(FSL)利用先驗(yàn)知識(shí)，可以快速泛化到只包含少量監(jiān)督信息的樣本新任務(wù)中。
小樣本學(xué)習(xí)，可認(rèn)為是Meta Learning在監(jiān)督學(xué)習(xí)上的應(yīng)用，即在訓(xùn)練階段，每次迭代（episode）會(huì)對(duì)樣本采樣，得到一個(gè)meta task；在不同的迭代中，訓(xùn)練數(shù)據(jù)包含了不同的組合，使得模型會(huì)去學(xué)習(xí)不同meta task中的共性部分，忘掉和task相關(guān)的部分。因此在面對(duì)meta test時(shí)也能進(jìn)行較好的分類。
圖1 Few-shot Learning 示例
圖 1 展示的是一個(gè) 2-way 5-shot 的示例，可以看到 meta training 階段構(gòu)建了一系列 meta-task 來讓模型學(xué)習(xí)根據(jù) support set 預(yù)測(cè) batch set 中的樣本標(biāo)簽；meta testing 階段輸入數(shù)據(jù)的形式與訓(xùn)練階段一致（2-way 5-shot），但是會(huì)在全新的類別上構(gòu)建 support set 和 batch。
小樣本深度學(xué)習(xí)的分類
Few-shot Learning 模型大致可分為三類：Mode Based，Metric Based 和 Optimization Based。
圖2 FSL模型分類
Model Based方法旨在通過模型結(jié)構(gòu)的設(shè)計(jì)快速在少量樣本上更新參數(shù)，直接建立輸入 x 和預(yù)測(cè)值P的映射函數(shù)；Metric Based方法通過度量batch集中樣本和 support 集中樣本的距離，借助最近鄰的思想完成分類；Optimization Based方法認(rèn)為普通的梯度下降方法難以在 few-shot 場(chǎng)景下擬合，因此通過調(diào)整優(yōu)化方法來完成小樣本分類的任務(wù)。
智慧眼的應(yīng)用探索
針對(duì) Metric Based 系列方法，智慧眼AI Lab提出了 CNN-LSTM-Fusion的三級(jí)框架，如圖3所示，目前已應(yīng)用到異常檢測(cè)場(chǎng)景，比如火災(zāi)檢測(cè)、少數(shù)民族識(shí)別和表情識(shí)別當(dāng)中。Spatial learning模塊用CNN結(jié)構(gòu)學(xué)習(xí)每一幀的語義特征；Temporal Learning模塊用LSTM，可以歸納和融合出事件的典型類別特征；Fusion模塊用于融合特征和類別直接的關(guān)系，進(jìn)而給出分類決策。
圖3 基于FSL的異常檢測(cè)模型
未來發(fā)展
可以預(yù)見，小樣本深度學(xué)習(xí)因其只需少量數(shù)據(jù)進(jìn)行訓(xùn)練就能得到較好效果的優(yōu)勢(shì)，可以應(yīng)用于很多場(chǎng)景，如醫(yī)療數(shù)據(jù)、手機(jī)上用戶手動(dòng)標(biāo)注的數(shù)據(jù)、少量的異常數(shù)據(jù)等。
智慧眼AI Lab將對(duì)小樣本深度學(xué)習(xí)進(jìn)行持續(xù)探索，同時(shí)嘗試將小樣本與強(qiáng)化學(xué)習(xí)、遷移學(xué)習(xí)等技術(shù)進(jìn)行融合，以期為人工智能研究帶來新的技術(shù)突破！
湘ICP備20003263號(hào)-1