北理工在語義深層特征的目標(biāo)跟蹤方面取得新進展
發(fā)布日期：2021-01-11 供稿：光電學(xué)院
編輯：盛筠 審核：鄒銳 閱讀次數(shù)：近日,，北京理工大學(xué)光電學(xué)院許廷發(fā)科研團隊在語義深層特征的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方面取得新進展,，相關(guān)研究成果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”為題發(fā)表在人工智能領(lǐng)域的國際頂級期刊《IEEE Transactions on Cybernetics（IEEE TCYB）》(IF=11.079)上,。IEEE TCYB是人工智能領(lǐng)域具有高影響力的國際學(xué)術(shù)刊物之一,，在2020年該領(lǐng)域120余種JCR期刊中排名前列,，影響因子為11.079,，中科院一區(qū),，主要發(fā)表和報道計算智能,、人工智能、數(shù)據(jù)科學(xué)和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的最新研究進展和技術(shù),。該工作第一作者為北京理工大學(xué)博士研究生黃博,，通訊作者為北京理工大學(xué)許廷發(fā)教授。
隨著人工智能的發(fā)展,，具有語義深層特征的視覺目標(biāo)跟蹤在計算機視覺中引起了很多關(guān)注,。尤其是旨在學(xué)習(xí)基于決策相似性評估的孿生網(wǎng)絡(luò)，在跟蹤領(lǐng)域中得到了廣泛的應(yīng)用,。但是,，孿生跟蹤網(wǎng)絡(luò)的在線更新存在局限性，即模型自適應(yīng)和退化難以達到平衡,。
針對這一科學(xué)問題,，北京理工大學(xué)許廷發(fā)教授團隊率先提出基于注意力遷移學(xué)習(xí)的孿生跟蹤模型。
圖1 注意力遷移學(xué)習(xí)的孿生跟蹤模型
為了充分利用先前的信息,，該模型將特征表示知識,、學(xué)習(xí)濾波器知識和時空注意力知識轉(zhuǎn)移到當(dāng)前的模板更新過程中。從歷史跟蹤任務(wù)中學(xué)習(xí)到的特征表示,，以解決當(dāng)前跟蹤任務(wù)中缺少高質(zhì)量訓(xùn)練數(shù)據(jù)的問題,。引入了一個實例轉(zhuǎn)移判別相關(guān)濾波器來增強孿生網(wǎng)絡(luò)的決策能力。預(yù)定義基于時空關(guān)系的類高斯矩陣來控制不同空間位置的學(xué)習(xí)權(quán)重,，并使用L2損失函數(shù)來計算更新的目標(biāo)模板,。
圖2 傳統(tǒng)更新過程和注意力更新過程比較
在Basketball序列中，傳統(tǒng)方法的使用較低學(xué)習(xí)率,，更新后的目標(biāo)外觀中仍然存在原始目標(biāo)和背景的“鬼影”,，嚴(yán)重影響當(dāng)前幀的檢測精度。在Lemming序列中,，傳統(tǒng)方法使用較高的學(xué)習(xí)率,，目標(biāo)的嚴(yán)重遮擋使傳統(tǒng)模型逐漸退化,，最終導(dǎo)致更新的模板完全失效。因此,，模型自適應(yīng)和退化與單一學(xué)習(xí)率之間難以取得平衡,，注意力學(xué)習(xí)方法可以很好地解決這一難題。
圖3 空間權(quán)重G的可視化分析
在G矩陣中,，中心目標(biāo)區(qū)域被賦予較高的權(quán)重,，而邊界背景區(qū)域被賦予較低的權(quán)重。這種注意力學(xué)習(xí)策略可以在更新的孿生模板分支中引入更多背景信息,，而不會污染中心目標(biāo)區(qū)域,。
圖4 注意力遷移學(xué)習(xí)的孿生跟蹤結(jié)果
該項研究為孿生網(wǎng)絡(luò)的更新設(shè)計提供了新的思路，提出的注意力遷移學(xué)習(xí)策略可以作為通用模塊應(yīng)用于大多數(shù)孿生跟蹤器,，并提高其性能,。
附第一作者簡介：
黃博,，北京理工大學(xué)光電學(xué)院2016級碩博連讀博士生,，師從許廷發(fā)教授，研究方向為計算機視覺和深度學(xué)習(xí)?，F(xiàn)已發(fā)表學(xué)術(shù)論文17篇,，其中SCI 10篇，累計總影響因子達57.221,。 以第一作者發(fā)表論文9篇,，其中6篇發(fā)表于IEEE TCYB、IEEE TMM,、PR,、Neurocomputing等高水平SCI期刊，累計影響因子達36.152,。申請中國發(fā)明專利1項,，軟著3項。同時,，還多次擔(dān)任IEEE TCSVT,、Neurocomputing等SCI期刊審稿人。曾獲得光電設(shè)計競賽二等獎,、研究生數(shù)學(xué)建模三等獎,、首都“挑戰(zhàn)杯”一等獎、“世紀(jì)杯”特等獎,、“百科融創(chuàng)杯”電子設(shè)計競賽一等獎,、電子設(shè)計競賽北京市二等獎、優(yōu)秀研究生,、優(yōu)秀團干部等榮譽,。
通訊作者簡介：
許廷發(fā),，教授，博導(dǎo),，國家一級重點學(xué)科“光學(xué)工程”責(zé)任教授,，光電成像技術(shù)與系統(tǒng)教育部重點實驗室副主任。近年來帶領(lǐng)其科研團隊圍繞光電成像探測與識別,、高光譜計算成像處理等方向不斷深化研究,。主持承擔(dān)國家自然科學(xué)基金委重大科研儀器研制項目等30多項。在國際,、國內(nèi)等系列期刊發(fā)表學(xué)術(shù)論文120余篇,，其中被SCI/EI收錄80余篇。以第一發(fā)明人申請國家發(fā)明專利40項,，已授權(quán)和公示15項,。
論文詳情：Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 論文鏈接：https://ieeexplore.ieee.org/document/9318529
分享到：