原創 棘 玉等 南京林業大學學報

專題報道

基于相機拍照的油茶果形狀特征提取研究

棘 玉1，尹顯明1，嚴恩萍1，蔣佳敏1，彭邵鋒2，莫登奎1*

1.林業遙感大數據與生态安全湖南省重點實驗室；國家林業與草原局南方森林資源管理與監測重點實驗室； 中南林業科技大學林學；2.湖南省林業科學院。

油茶(Camellia oleifera)産業作為我國湖南、廣西、江西等南方地區農村經濟的支柱和特色産業對推動農業經濟的發展有重要作用。特别是近年來在各級政府的大力扶持下,油茶種植面積不斷擴大,因此,快速準确地獲取油茶果形狀特征信息,對掌握油茶果大小分布情況,指導果實分級和快速測産有重要意義。

目前,國内外學者對農林業果實、種子的形狀特征提取主要基于圖像檢測和高光譜檢測。圖像檢測用時短且成本低,更能滿足實際需求。在利用圖像檢測方面,通常采用OTSU 算法、支持向量機、人工神經網絡或多種算法相結合對圖像進行分割,然後基于Hu不變矩、傅裡葉描述子、凸殼理論、Hough變換等方法提取目标果實的面積、周長等形狀特征參數。然而上述研究均集中于采摘機器視覺和果實智能分選領域,其研究對象主要是自然條件相機拍攝樹上局部果實或采摘後單個果實，對形狀特征參數的描述大多是基于目标區域内像素點的數目、位置及比值,對果實特别是油茶果的長軸、短軸、面積、周長等形狀特征批量獲取的方法鮮有報道,若想得到果實長短軸等參數的實際值仍須要借助傳統的人工測量,不僅耗時耗力、重複性差，還易出現人為測量和記錄錯誤。本期論文推薦的作者基于油茶果智能識别技術提出利用相機拍攝采摘油茶果的方法實現對果實快速計數以及長短軸、周長、面積等特征參數的批量化提取,以期直觀、快速、準确地獲取大量油茶果尺寸信息，為指導油茶果實分級和快速測産提供科學依據。

下面跟學報君一探究竟！

作者簡介

通訊作者

莫登奎，男，1980年11月出生，主要從事林業遙感智能解譯和空間數據挖掘研究。

第一作者

棘玉，女，1998年1月出生，中南林業科技大學森林經理學碩士研究生。

關鍵詞：近景攝影；形狀特征提取；圖像處理；卷積神經網絡；油茶果

基金項目：國家自然科學基金項目(32071682,31901311);湖南省大學生創新創業訓練計劃項目(S202010538008) ;湖南省教育廳重點項目( 18A151，19A525)。

引文格式：棘玉，尹顯明,嚴恩萍,等.基于相機拍照的油茶果形狀特征提取研究[J].南京林業大學學報(自然科學版), 2022,46(2):63-70.JI Y,YIN X M,YAN E P,et al.Research on extraction of shape features of Camellia oleiferu fruit based on camera pholography[J].Jourmal of Nanjing Forestry University (Natural Sciences Edition) ,2022,46(2):63-70.DOI：10.12302/j. issn.1000-2006.202109030.

1目的

為實現油茶果實尺寸及大小分布的快速獲取,提出一種基于相機拍攝的油茶果形狀特征參數批量化提取方法。

2方法

首先将采摘油茶果擺放于含刻度尺的背景闆,利用相機快速獲取油茶果圖像并進行校正;然後利用Mask R-CNN模型對圖像油茶果進行快速檢測計數,根據生成的掩碼采用橢圓拟合法統計油茶果特征參數(長軸、短軸、面積、周長)的像元個數;最後結合背景闆刻度尺計算的像元大小,獲取油茶果特征參數,同時利用實測值進行精度驗證。

2.1 試驗材料

數據采集區域位于新邵縣陳家坊鎮江村華怡油茶種植标準化示範基地，通過随機抽樣選擇120棵油茶樣本樹,于2020年10月27日到10月28日,将采摘後的樣本樹油茶果随機擺放于含110 cm×110 cm刻度尺的水平放置背景闆,且果與果之間不相互堆疊。自然光照條件下,從2 m附近垂直拍攝油茶果樣本,每棵油茶樣本樹拍攝3~5張,共拍攝圖像657張。研究采用哈蘇L1D-20c相機,分辨率為3 648×5 472像素,圖像格式為JPEG。

為消除相機拍照産生的幾何畸變問題,采用ArcGIS10.7軟件的配準工具,結合背景闆中的校準格網對影像數據進行校準。對校準後的油茶果照片進行篩選,剔除模糊重複等無效數據,最後保留312張圖片。利用開源計算機視覺庫OpenCV對圖像進行處理,将3 648×5 472像素的原圖裁剪為大小為2975×2071像素的油茶果圖像。

2.2 研究方法

2.2.1 數據集制作

為滿足不同環境油茶果實識别的多樣性,随機抽選不同數目、顔色、光照條件擺放疏密度的油茶果圖片樣本26張,使用Label me标注軟件進行數據标注,以人工目視為主,檢驗修正為輔,共标注2874個油茶果實目标。為防止訓練出現過拟合以及抵消外部光照等環境因素影響,對樣本進行旋轉、翻轉等操作增強數據集,最終處理完成後得到420幅數據集樣本。将數據集按照4∶1的比例随機劃分,其中 336幅圖像作為訓練集,另外84幅圖像作測試集。

2.2.2 特征識别網絡

為對圖像中油茶果進行像素級分割,采用由Facebook提出的Mask R-CNN模型作為油茶果實檢測識别的基礎網絡框架(圖1),該模型在Faster R-CNN基礎之上增加了圖像分割分支并能夠将結果以掩膜(mask)形式輸出,可同時實現目标識别和實例分割且準确率較高,此外該模型使用感興趣區域對齊(ROI Align)替換感興趣區域池化(ROI pooling),利用雙線性插值法解決了特征圖(feature map)與原像素對準的精度問題,滿足本研究高複雜度及多任務的需求。

▲圖 1 Mask R-CNN油茶果識别模型網絡結構示意圖

研究将ResNet50 與 FPN相結合的網絡作為油茶果特征提取的主幹網絡,得到對應的特征圖，将其輸入至區域候選網絡(RPN)進行二值分類，使圖像分為油茶果與背景,并對含油茶果的區域進行框選生成感興趣區域(ROI)。将ROI輸入基于雙線性差值的ROI Align層得到固定大小的特征圖，接着将其輸入由全卷積網絡(FCN)構成的分割掩膜(mask)生成網絡得到與目标油茶果形狀大小相同的掩碼用于分割目标油茶果,并通過興趣區域分類器和邊框回歸對ROI區域進行像素級的坐标對齊準确識别目标油茶果。最終得到包含目标油茶果提取結果以及與目标油茶果形狀大小相同的mask圖像。

本研究試驗環境為Intel i7 6700k的 CPU,6GBGPU,運行内存為24GB;軟件環境為Google Colab,在此基礎上搭建Pytorch1.4深度學習框架,并用Python語言編程實現網絡模型訓練和測試。訓練的參數設置為:叠代次數設置為15 000次,初始學習率為0.004,每次叠代訓練圖像的數量(batch size)為2,叠代8 000次後學習率下降為10% ,叠代10 000次學習率下降為0.1%。

2.2.3 特征參數提取

本研究的油茶果形狀特征參數為短軸、長軸、周長、面積(圖2)。首先對利用Mask R-CNN識别模型生成的油茶果mask 二值圖采用腐蝕膨脹的形态學操作進行處理,去除圖片噪聲;然後采用開源計算機視覺庫OpenCV提供的函數CV2,對油茶果mask圖像進行Canny邊緣檢測提取油茶果邊緣特征,采用基于最小二乘法的橢圓拟合算法,計算油茶果長軸和短軸對應的像元個數(圖3);根據圖像背景闆中刻度尺計算像元大小,獲取每個橢圓形的長軸、短軸、周長和面積,即為對應的油茶果形狀特征參數。其中橢圓的面積、周長計算公式如下所示:

式中:S為橢圓面積;L為橢圓周長;a為短半軸;b為長半軸。

▲圖 2 油茶果形狀特征參數

▲圖 3 油茶果橢圓拟合過程

3結果

Mask R-CNN模型的平均識别準确率和召回率分别為99.55%和91.19%,測度值為95.22% ,滿足用于統計油茶果形狀特征參數的要求;對油茶果面積的估測精度最高,決定系數(R2)、平均絕對誤差(MAE)、均方根誤差(RMSE)分别為0.999 0,10.75 m㎡,14.88 m㎡,其次為周長和長軸,短軸的估測精度最低,其R2、MAE、RMSE分别為0.8647,3.15 mm ,3.74 mm。

3.1 油茶果識别結果及精度分析

利用經訓練得到的油茶果識别模型對油茶果測試集進行測試,得到油茶果平均精度(IAP)為99.59%。該模型檢測油茶果準确率為99.60%,正确檢測出129棵油茶果樹上的共17 783個油茶果,漏檢1 716個,漏檢率為8.80% ,召回率為91.20% ,測度(F1)為95.22%;模型共誤判油茶果79個,原因是模型将圖片中背景闆上一些枝葉、油茶籽等雜物誤判為油茶果。總體上,模型識别油茶果準确率為99.60% ,總體精度95.22% ,說明本研究網絡模型性能良好,總體識别精度較高,未出現将陰影識别為油茶果的現象,可滿足後續油茶果特征參數提取的精度要求。

油茶果模型訓練過程中損失值随叠代次數變化的曲線如圖4所示。模型叠代次數為15 000次,當叠代12000次左右,損失值逐漸趨于穩定，最終損失值保持在0.13左右。

▲圖 4 Mask R-CNN訓練時損失值曲線

3.2 油茶果形狀特征參數提取結果

3.2.1 油茶果形狀特征參數變異情況

結合油茶果識别模型檢測出的油茶果提取其形狀特征參數并進行統計分析。可知,油茶果實形狀特征參數的變異範圍為16.84% ~34.87% ,其中，面積變異程度最大(34.87%),其次為短軸變異幅度(19.41%)和周長變異幅度(17.69%),長軸變異程度最小(16.84%)(表1)。

▼表 1 油茶果形狀特征參數變異

3.2.2 油茶果實形狀特征參數的頻率分布及正态性檢驗

根據得到的油茶果形狀特征參數繪制果實形狀特征參數頻率分布圖(圖5),對4個特征參數進行單個樣本的Kolmogorov-Smirnov正态性檢驗,長軸、短軸、面積、周長4個性狀指标的Sig值均大于0.05,符合正态分布,計算各形狀特征參數概率密度函數。概率密度函數[f(X)]計算公式如下所示:

式中:σ為标準差,X為随機變量,μ為期望值。

▲圖 5 油茶果形狀特征分布頻數

在該研究區内油茶果短軸平均值為31.80 mm ,标準差為6.17 mm,變異幅度為10.45~58.17 mm,變異系數為19.41% ,概率密度函數為f(X)=0.418 5exp[ -0.013 1(x-31.79)2];長軸平均值35.55 mm,标準差5.99 mm,變異幅度為14.68~70.47 mm ,變異系數為16.84% ,概率密度函數為f(X)=0. 406 3exp[-0.013 9(x-35.55)2] ;周長平均值105.90 mm,标準差18.72 mm ,變異幅度為42.98~139.29 mm,變異系數為17.69% ,概率密度函數為f(X)=0.1339exp[-0.001 4(x-105.90)2] ;面積平均值914.58 m㎡,标準差318.95 mm,變異幅度為144.12~2 960.25 m㎡,變異系數為34.87%,概率密度函數為fX)=0.007 9exp[-4.915 0x10-6 (x-105.90)2]。

3.3 油茶果特征參數提取精度分析

将随機抽取的300個油茶果特征參數實測值作為自變量,将經拟合橢圓法得到的特征參數估測值作為因變量繪制相關性散點圖(圖6) ,通過一元線性回歸分析對提取結果進行精度評價。可以看出,采用橢圓拟合法估測油茶果形狀特征參數時，對面積的提取精度最高(圖6D) ,R2達到0.999 0,MAE為10.75 m㎡,RMSE為14.88 m㎡;對油茶果短軸提取的精度最低(圖6A),其R為0.864 7,MAE為3.15 mm, RMSE為3.74 mm ;對油茶果周長估測結果的 MAE和 RMSE最大,分别為22.81mm 、23.36 mm。利用橢圓法拟合估測油茶果長軸和短軸存在高估現象(圖6A、6B) ,可能是由于油茶果邊緣存在噪聲或受油茶果不同擺放角度影響使得對長軸和短軸過高估測;對周長估測時存在低估現象(圖6C) ,可能是由于油茶果邊緣果殼裂開，邊緣凹凸不平導緻實際周長要大于拟合的橢圓形周長。此外,人工測量和校準以及周長、面積計算公式的選擇等因素均可能對油茶果形狀特征參數估算結果的魯棒性、精度産生影響。

▲圖 6 油茶果形狀特征參數估測值與實測值相關性散點圖

4結論

該方法實現了油茶果采摘後的快速準确計數以及形狀特征參數的批量化提取,可為大量果實特征參數的快速準确檢測提供參考,為指導油茶果實分級和快速測産提供科學依據。

關注我們，更多精彩

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!