基于深度學(xué)習(xí)的TBM密集巖碴片圖像分割

　　摘 要:針對全斷面隧道掘進(jìn)機(jī)的傳送帶上巖碴片重疊造成的圖像分割不準(zhǔn)確問題，提出一種基于深度學(xué)習(xí)的密集巖碴片圖像分割方法。該方法首先將原圖像做預(yù)處理，標(biāo)注并制作巖碴片圖像數(shù)據(jù)集;然后，改進(jìn) U-Net 模型的結(jié)構(gòu)，通過深度監(jiān)督以及新的混合損失函數(shù)優(yōu)化模型學(xué)習(xí)分割表示的能力;訓(xùn)練改進(jìn)后的模型分割圖像，利用 OpenCV 獲取面積與長、短軸等參數(shù);最后與最大類間方差法、分水嶺分割及傳統(tǒng) U-Net 模型進(jìn)行比較，結(jié)果表明，所提出巖碴片圖像分割的方法在準(zhǔn)確率、F1 分?jǐn)?shù)、重疊度指標(biāo)上分別為 96.21%、94.66%和 90.04%，預(yù)測單張圖片耗時 1.47 秒，證明了所提出方法的準(zhǔn)確性和有效性。

　　關(guān)鍵詞：中文名稱;巖碴片;機(jī)器視覺;圖像分割;深度學(xué)習(xí);U-Net;模型評價;特征參數(shù)

　　趙先瓊; 鄧志強(qiáng); 鄧朝暉; 梅勇兵; 夏毅敏 哈爾濱工程大學(xué)學(xué)報(bào) 2021-12-03

　　全斷面硬巖隧道掘進(jìn)機(jī)(tunnel boring machine, TBM)通過滾刀破巖而使隧洞全斷面一次成型，現(xiàn)在廣泛應(yīng)用于地下工程。作為 TBM 掘進(jìn)過程中的直接產(chǎn)物，巖碴片的形狀以及粒徑分布等參數(shù)特征具有重要觀測意義。利用相機(jī)獲取皮帶機(jī)上巖碴片圖像，通過深度學(xué)習(xí)模型分割圖像并統(tǒng)計(jì)巖碴片粒徑分布，有助于快速高效的評價 TBM 破巖效率、獲得隧道圍巖等級和巖體性質(zhì)。

　　陳文莉等[1]和宋克志等[2]基于現(xiàn)場掘進(jìn)實(shí)驗(yàn)對巖碴片大小及粒徑分布模型進(jìn)行研究，結(jié)果表明， Rosin-Rammler 分布函數(shù)能較好地?cái)M合巖碴片的粒徑分布，但是人工篩選的方法效率低。Aydin[3]認(rèn)為機(jī)械開挖過程中得到的巖碴片，反應(yīng)了巖石的地質(zhì)特征，統(tǒng)計(jì)粒徑分布可以確定機(jī)械切割效率。閆長斌等[4]對 TBM 施工過程中產(chǎn)生的巖碴片進(jìn)行現(xiàn)場測量和篩分試驗(yàn)，結(jié)果表明巖碴片尺寸、大小特征與巖體性質(zhì)有關(guān)。 Jianbin Li[5]認(rèn)為用機(jī)器視覺進(jìn)行圖像采集、巖碴片邊緣分割以及粒徑分布統(tǒng)計(jì)，具有數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一的優(yōu)點(diǎn)。Gordon Christie[6]搭建一種機(jī)器視覺檢測礦石系統(tǒng)，檢測巖石尺寸并對礦石的粒度分布進(jìn)行估計(jì);Xiuzhen Hu 等[7]提出一種基于歸一化互相關(guān)的局部區(qū)域生長算法分割TBM運(yùn)輸帶上的巖碴片，對較大尺寸的巖碴片測量效果誤差小。數(shù)字圖像處理技術(shù)為巖碴片粒度分析提供了可行的辦法，但是數(shù)字圖像處理技術(shù)所得結(jié)果精度不高。

　　隨著深度學(xué)習(xí)的不斷發(fā)展，眾多學(xué)者利用機(jī)器視覺和深度學(xué)習(xí)進(jìn)行巖碴片圖像的分割。Hadi Yaghoobi 等[8]收集 226 張爆破巖石的圖像制作數(shù)據(jù)集，通過傅里葉變換、Gabor 濾波器、小波變換來提取圖像中巖石的特征參數(shù)，作為神經(jīng)網(wǎng)絡(luò)的輸入向量，最終得到的模型對巖石粒徑分布的結(jié)果分別比傳統(tǒng)數(shù)字圖像方法處理提高 67%、57%和 48%。 Zhenfeng Xue 等[9]采集巖碴片圖像制作數(shù)據(jù)集，訓(xùn)練 FCN 和 GCN 網(wǎng)絡(luò)分別提取巖碴片目標(biāo)掩膜和輪廓掩膜，混合兩個掩膜，得到巖石面積的預(yù)測結(jié)果。然而，上述方法采用的模型對于邊緣重疊、粘連的密集巖碴片的精細(xì)分割效果仍不夠好，且操作處理復(fù)雜。因此，本研究的目標(biāo)是訓(xùn)練一個深度學(xué)習(xí)模型以克服上述問題，利用改進(jìn)的 U-Net 模型學(xué)習(xí)巖碴片的分割表示，通過深度監(jiān)督以及新的混合損失函數(shù)讓模型更好地從像素級、塊級和圖像級學(xué)習(xí)巖碴片整體分割和邊緣的精細(xì)分割，最終得到巖碴片的粒徑參數(shù)分布。

　　1 數(shù)據(jù)集的準(zhǔn)備

　　圖像分割任務(wù)依賴于大量標(biāo)注良好的圖像數(shù)據(jù)，然而目前沒有注釋良好的巖碴片開源數(shù)據(jù)集，因此，獲取足夠多的巖碴片圖像以及對這些圖像的標(biāo)注，對實(shí)現(xiàn)巖碴片圖像分割至關(guān)重要。為此，在本研究中采集了大量的巖碴片圖像，制作一個類似于 COCO 的數(shù)據(jù)集。

　　1.1 巖碴片圖像采集

　　在本研究中，參照 TBM 皮帶機(jī)和施工現(xiàn)場，設(shè)計(jì)了一套巖碴片圖像采集實(shí)驗(yàn)臺。該實(shí)驗(yàn)臺包含一個高分辨率線陣相機(jī)及線陣光源，皮帶機(jī)，圖像采集卡和計(jì)算機(jī)，皮帶機(jī)在載有巖碴片的工況下，運(yùn)行速度穩(wěn)定在 2 m/s，相機(jī)視距為 600 mm，相機(jī)的行頻最高可達(dá) 16 kHz。采集到的圖片存儲到計(jì)算機(jī)中，通過實(shí)驗(yàn)臺獲取的圖片清晰、精度高，便于剪裁和預(yù)處理。

　　1.2 圖像數(shù)據(jù)集的建立

　　采集到的巖碴片圖像通過灰度化、中值濾波、自適應(yīng)直方圖均衡化等方法進(jìn)行預(yù)處理，效果如圖 2，預(yù)處理后的圖片變?yōu)榛叶葐瓮ǖ缊D像，網(wǎng)絡(luò)輸入層計(jì)算量降低至原來的三分之一，經(jīng)過中值濾波、自適應(yīng)直方圖均衡化的處理，消除噪聲，提升圖像的對比度。為了充分利用 U-Net 模型的計(jì)算能力，將獲得的圖片裁剪成小尺寸圖片，以滑動窗口的方式進(jìn)行剪裁，滑動窗的尺寸為 512×512，滑動窗口步長為 320。最后，對處理后的巖碴片圖像進(jìn)行標(biāo)注，沿巖碴片的輪廓進(jìn)行標(biāo)記，只標(biāo)注巖碴片的清晰部分，輪廓多邊形繪制完成后，寫入巖碴片標(biāo)簽 ‘rock detritus’，本任務(wù)進(jìn)行的圖像分割基于語義分割，需要給巖碴片和背景分配兩個不同的類別標(biāo)簽，其中巖碴片為 1，背景為 0。最后，得到了一個包含形狀、面積等信息的注釋文件，其中部分標(biāo)注圖像如圖 3 所示。

　　將 標(biāo) 注 好 的 數(shù) 據(jù) 集 命 名 為 巖 碴 片 數(shù) 據(jù) 集(RCMCO)，包含 1200 張像素尺寸為 512×512 的注釋圖像，數(shù)據(jù)量較小，按照 6:2:2 的比例分成訓(xùn)練數(shù)據(jù)集(720)、驗(yàn)證數(shù)據(jù)集(240)和預(yù)測數(shù)據(jù)集(240)。在訓(xùn)練小數(shù)據(jù)集的圖像分割時，通常要進(jìn)行數(shù)據(jù)增強(qiáng)處理，包括旋轉(zhuǎn)變換、鏡面翻轉(zhuǎn)、添加噪聲、亮度變化，經(jīng)過 9 類數(shù)據(jù)增強(qiáng)方法的處理，將訓(xùn)練集增強(qiáng)到 6480 張圖片，更大的訓(xùn)練數(shù)據(jù)集，能防止過擬合，使模型更可靠。

　　1.3 巖碴片的特征

　　U-Net 模型訓(xùn)練的關(guān)鍵是通過對人為標(biāo)注的圖像進(jìn)行自學(xué)習(xí)，從像素?cái)?shù)據(jù)中學(xué)習(xí)如何將巖碴片從背景中分割出來，并進(jìn)行巖碴片之間的分割。首先，巖碴片圖像以像素值數(shù)組的形式被輸入到 U-Net 模型中，卷積層通過比較相鄰像素的灰度變化來提取邊緣特征，巖碴片邊緣和背景之間有明顯的灰度變化，利用提取的邊緣特征模型可以快速地將像素點(diǎn)進(jìn)行邊緣和背景之間的分類。對于邊緣重疊的巖碴片，巖碴片間的灰度變化不大，因而賦予相互接觸的巖碴片之間的背景標(biāo)簽更高的損失權(quán)重，從而學(xué)習(xí)重疊巖碴片的分割表示。

　　2 巖碴片圖像分割框架

　　Olaf Ronneberger 等[10]提出 U-Net，最初應(yīng)用于生物細(xì)胞或醫(yī)學(xué)圖像分割，而細(xì)胞圖像所具有的邊緣粘連、模糊等復(fù)雜特點(diǎn)與皮帶機(jī)上的巖碴片相似，因此，使用 U-Net 進(jìn)行巖碴片的圖像分割是可行的。 Liang Zhengyu 等[11]提出一種輕量級 U-Net 對顆粒圖像進(jìn)行分割，所得的分割結(jié)果準(zhǔn)確;柳小波等[12] 提出一種結(jié)合 U-Net 和 Res_U-Net 網(wǎng)絡(luò)模型對礦石圖像進(jìn)行圖像分割的方法，實(shí)驗(yàn)表明，該方法分割結(jié)果比傳統(tǒng)方法更為準(zhǔn)確。為了實(shí)現(xiàn)對巖碴片圖像的語義分割，生成高質(zhì)量的掩膜，對 U-Net 網(wǎng)絡(luò)進(jìn)行改進(jìn)并應(yīng)用。在 U-Net 模型上進(jìn)行改進(jìn)，包括以下步驟：(1)改進(jìn) U-Net 模型的編碼和解碼結(jié)構(gòu);(2)引入深度監(jiān)督，并改進(jìn)損失函數(shù)。

　　2.1 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)

　　U-Net 是完全卷積神經(jīng)網(wǎng)絡(luò)(FCN)，基于編碼 -解碼結(jié)構(gòu)，通過跳躍連接結(jié)合來自解碼器的高級語義特征和編碼器的低級語義特征，結(jié)構(gòu)如圖 4 所示。左側(cè)為下采樣，分 4 組卷積操作進(jìn)行,每組卷積操作后進(jìn)行一次最大池化操作(下箭頭)，將圖片縮小為原來的 1/2。右側(cè)上采樣過程，通過 4 組反卷積操作(向上箭頭)，每次上采樣將圖片擴(kuò)展為原來的 2 倍，然后將對應(yīng)下采樣的特征圖拼接到上采樣的結(jié)果上(灰色長箭頭)。最后用一個 1×1 的卷積操作將通道數(shù)減到 2。

　　2.2 U-Net 模型改進(jìn)

　　U-Net 從被提出到現(xiàn)在，經(jīng)過許多改進(jìn)，其中 Zhou Z 等[13]提出的 U-Net++整合不同特征層所提取到的特征，但參數(shù)相較 U-Net 更大，對計(jì)算能力要求更高。Huang Huimin 等[14]提出的 U-Net3+，使得 U-Net 網(wǎng)絡(luò)能更好地提取和融合多尺度的信息。密集巖碴片的圖像分割要求精細(xì)的邊界分割和準(zhǔn)確的位置信息提取。不同尺度的特征，對于不同大小的目標(biāo)物敏感度不同，傳統(tǒng) U-Net 結(jié)構(gòu)在分割中，多次下采樣和上采樣容易丟失大巖碴片邊緣信息和小巖碴本身，這需要尺度(感受野)小的特征來彌補(bǔ)。U-Net3+改變了編碼器和解碼器的連接方式，如圖 5 所示，相較于 U-Net 網(wǎng)絡(luò)只進(jìn)行同尺度解碼器和編碼器的連接，在 U-Net3+中每一個尺度的解碼器都結(jié)合了相同尺度及更小尺度的編碼器的特征，同時還連接更大尺度解碼器的特征，這些特征圖提取了全尺度下的巖碴片圖像細(xì)節(jié)特征和語義特征，增強(qiáng)巖碴片的邊界分割能力。

　　作為示例，圖 6 演示如何構(gòu)造解碼層