北京時間11月10日，中國科學(xué)院深圳先進技術(shù)研究院集成所光電工程技術(shù)中心李劍平博士團隊在海洋數(shù)據(jù)機器學(xué)習(xí)算法研究中取得新成果，提出了一種基于對比學(xué)習(xí)的浮游生物圖像識別檢索框架，在解決實際海洋數(shù)據(jù)中的不均衡分布、數(shù)據(jù)漂移、開集識別問題中展現(xiàn)出了優(yōu)異性能。
【資料圖】
論文以Contrastive Learning-based Image Retrieval for Automatic Recognition of in situ Marine Plankton Images為題，發(fā)表在國際海洋考察理事會海洋科學(xué)期刊ICES Journal of Marine Science上。中國科學(xué)院大學(xué)碩士楊振宇為第一作者，李劍平博士為論文通信作者，深圳先進院為第一單位。來自廈門大學(xué)、哈爾濱工業(yè)大學(xué)（深圳）的數(shù)據(jù)科學(xué)家參與本課題的合作研究。
文章上線截圖
原文鏈接：https://doi.org/10.1093/icesjms/fsac198
經(jīng)過了30多年來的發(fā)展，海洋水下成像儀器為海洋浮游生物原位觀測帶來了海量圖像數(shù)據(jù)，刺激了計算機圖像自動識別技術(shù)的長足發(fā)展。然而，訓(xùn)練機器對來自實際中復(fù)雜海洋環(huán)境下的圖像數(shù)據(jù)進行準(zhǔn)確識別始終是一項極具挑戰(zhàn)的任務(wù)?，F(xiàn)有浮游生物圖像機器學(xué)習(xí)分類算法雖然在某些閉合數(shù)據(jù)集上取得了良好表現(xiàn)，但是當(dāng)應(yīng)用于來自不同時空的實際數(shù)據(jù)時，往往會出現(xiàn)性能不穩(wěn)定甚至驟降的問題，不能滿足海洋觀測的實時準(zhǔn)確要求。
通過深入調(diào)研，李劍平團隊發(fā)現(xiàn)現(xiàn)有算法幾乎全部將浮游生物識別問題處理成了一個對“N+1類”目標(biāo)圖像的分類問題（即N類感興趣目標(biāo)和1類所有不感興趣目標(biāo)）。然而，與其他領(lǐng)域中圖像識別任務(wù)不同的是，在真實海洋環(huán)境中采集的數(shù)據(jù)必將面臨成像質(zhì)量惡化、數(shù)據(jù)分布不均、數(shù)據(jù)分布漂移和分布外樣本出現(xiàn)等問題的挑戰(zhàn)。因此，在閉合數(shù)據(jù)集上訓(xùn)練優(yōu)化的機器學(xué)習(xí)算法在應(yīng)用時，由于待識別數(shù)據(jù)集不滿足與訓(xùn)練數(shù)據(jù)集的獨立同分布條件，導(dǎo)致識別性能極易下降，只能通過費時費力的數(shù)據(jù)重新標(biāo)注和模型重新訓(xùn)練來恢復(fù)其性能，顯然這樣就造成了機器學(xué)習(xí)算法的高昂的部署成本，難以在實際中應(yīng)用。
李劍平團隊提出的浮游生物原位圖像檢索識別框架IsPlanktonIR示意
針對這一瓶頸，李劍平團隊設(shè)計并訓(xùn)練了一種基于對比學(xué)習(xí)的浮游生物圖像檢索框架IsPlanktonIR，以圖像相似度比對的方式，通過圖像檢索靈活地解決浮游生物的原位圖像識別問題，實現(xiàn)浮游生物圖像的自動識別。
在該框架里，研究團隊首先選取SEResNext作為浮游生物圖像特征提取器，利用有監(jiān)督的對比學(xué)習(xí)對其訓(xùn)練，使其獲得較強的特征提取能力。識別圖像時，通過比較待識別圖像和一個檢索庫中圖像特征的相似性，實現(xiàn)對其具體類別判定或?qū)Ψ植纪鈽颖镜陌l(fā)現(xiàn)與拒識。
此外，IsPlanktonIR框架還提供了人機交互接口，以供使用者方便地檢查校驗識別結(jié)果，擴充檢索庫，不斷完善增強識別性能。
訓(xùn)練浮游生物圖像檢索框架中特征提取器的代表圖像數(shù)據(jù)
為了實現(xiàn)該識別框架的算法訓(xùn)練和效果驗證，團隊利用獨立研發(fā)的海洋浮游生物原位光學(xué)成像儀在深圳大亞灣和海南昌江海域采集的圖像構(gòu)建了一個實驗數(shù)據(jù)集。利用該數(shù)據(jù)集，團隊使用部分類別圖像對模型進行了訓(xùn)練，構(gòu)造了多種不同組合的檢測數(shù)據(jù)集，以檢驗該框架在真實海洋環(huán)境中應(yīng)對必將發(fā)生的數(shù)據(jù)不均衡、數(shù)據(jù)分布漂移、分布外樣本出現(xiàn)情況下的性能表現(xiàn)。
實驗結(jié)果表明，IsPlanktonIR算法框架在應(yīng)對同時存在上述問題的測試集上均表現(xiàn)出了優(yōu)異的性能。尤其是當(dāng)測試中遇到新類別圖像出現(xiàn)時，只需向檢索庫中添加部分新的人工標(biāo)注樣本，即可使框架實時擁有對新類別圖像的正確識別能力。
此外，團隊還對該框架與經(jīng)典的浮游生物圖像分類算法和最新的異常值檢測算法的性能在相同的測試集上進行了比較。結(jié)果表明，IsPlanktonIR不僅在二者不可處理的開集識別問題上取得了很好的效果，在這兩類算法擅長處理的閉集分類問題上也取得了可比擬、甚至部分超越的性能指標(biāo)。IsPlanktonIR的識別結(jié)果穩(wěn)健性也大大增強，展示出了在實際海洋觀測應(yīng)用中的可靠性和靈活性。
在不同條件下的測試實驗中IsPlanktonIR識別框架和對照算法的性能表現(xiàn)對比
此外，為了提高框架的圖像檢索效率，減小存儲和計算開銷，李劍平團隊還提出了一種壓縮精簡的算法，將浮游生物圖像檢索庫進一步稀疏化，在幾乎不降低識別準(zhǔn)確率的前提下將檢索庫的大小縮小了一半，保障了基于圖像檢索的圖像識別框架在大規(guī)模數(shù)據(jù)下的檢索速度，以滿足海洋觀測的高實時性要求。
IsPlanktonIR框架的發(fā)展為真實海水環(huán)境下的浮游生物原位長期觀測提供了一套更加有效、穩(wěn)健、靈活、便捷的算法方案，更加貼近海洋觀測的實際需求，將有助于促進人工智能在海洋生物觀測識別任務(wù)的落地應(yīng)用。
該論文研究得到了中國科學(xué)院國際合作重點項目和深圳市科技創(chuàng)新計劃基礎(chǔ)研究重點項目的支持。
標(biāo)簽： 機器學(xué)習(xí)算法 水下成像 浮游生物 圖像識別
