下载:
-
近些年来，小天体着陆和采样返回任务成为研究热点，因其具有重大的科学意义和工程价值[1-3]。利用陨石坑、岩石等自然陆标是实现探测器自主导航的一种重要手段。但与火星、月球不同，小天体具有暗弱不规则、地表特征复杂和先验信息匮乏等特点，使得导航陆标的提取和匹配存在一定的困难[4-7]。
近年来，为满足图像处理问题的各类需求，以卷积神经网络为代表的深度学习理论取得不断突破。深度学习在特征提取与图像识别方面有巨大的潜力和优势，在轨道交通、生物医药、经济金融、工业生产及自动驾驶等领域得到了广泛应用。基于深度学习的导航陆标检测方法比传统的图像处理算法具有更高的识别率[8]。Emami等[9]利用Faster R-CNN网络实现了对陨石坑的自动识别。Wang等[10-11]利用U-net开发的DeepMoon网络对识别陨石坑的圆心和半径进行了标记。Lee等[12]同样采用U-net网络结构对陨石坑进行了检测，并结合数字地形模型（Digital Terrain Models，DTM）数据克服了光照等因素对检测结果的影响。Chen等[13]提出了能同时识别陨石坑、沟谷等多个特征的高分辨率模型，并利用迁移学习解决了数据缺失的问题。郑磊等[14]利用改进的非极大值抑制的深度学习算法在其构建的大型陨石坑数据集上实现了多尺度多分类陨石坑自动识别。Furlán等[15]提出了一种使用卷积神经网络（Convolutional Neural Network，CNN）检测岩石的方法，提高了分割图像的速度并取得了较好效果。Li等[16]基于U-net网络，结合视觉几何组及残差卷积神经网络，对岩石进行了检测。基于视觉的探测器自主导航是深度学习网络估计方法最有潜力的关键领域之一，通过从已有数据中自动地学习各种地形深层特征，并对导航陆标进行准确的分类识别，具有较高的准确率和鲁棒性，因此适合在小天体未知复杂环境的精确附着探测任务中应用，是未来自主导航技术潜在的替代方案[17]。
基于深度学习的识别算法给小天体导航陆标的识别提供了新思路，但对于视觉导航来说还需完成识别结果的匹配。目前相关匹配算法在应用于探测器绝对导航时还有局限性[18-21]。Danelljan等[22]在滤波器的跟踪框架下设计的多域网络（MultiDomain Network，MDNet）结构提高了目标的跟踪性能，但算法适用于序列图像间的跟踪，在绝对导航中效果不佳。Held等[23]提出基于回归网络的通用目标跟踪算法（Generic Object Tracking Using Regression Networks，GOTURN）提高了匹配速度，加入CIR单元模块增强了匹配精度。Danelljan通过训练基于尺度金字塔表示的双滤波器实现复杂序列图像中平移跟踪和尺度跟踪，但仅在相对导航中目标运动模糊、光照变换下具有好的跟踪效果[24]。Zhou等[25]提出一种新的基于Transfomer的结构用于全局多目标跟踪，搭建的网络可以直接从32帧的图像中学习匹配结果，并不是逐帧匹配。Possegger等[26]提出统计颜色特征方法，减小了边界效应并能实现快速运动目标的跟踪，但不适应存在光照变化和背景相似颜色的目标。综上所述，现有算法是基于序列图像的匹配且在旋转、光照、尺度变换下鲁棒性较差，影响导航陆标的匹配率，因此难以实现探测器的绝对导航。
为实现小天体附着过程的高精度自主视觉导航，克服现有算法在绝对导航需求中的局限性，提出一种基于特征描述符的识别预测框匹配算法。在小天体的精确附着探测过程中应用深度学习网络识别未知自然陆标，针对识别结果选取支撑区域，求取区域像素梯度构建不变性特征描述符，通过阈值限制实现识别结果的匹配，在光照、尺度及旋转变换下分析实验结果并对文章进行总结。
-
在探测器自主导航任务过程中采用YOLOv4网络对小天体导航陆标识别[27]。通过局部方差均衡算法增强图像中陨石坑、岩石和沟壑等地形特征，并采用透视变化等多种数据增强方法构建小天体表面地形特征基准数据集和自适应切分图像检测方法解决小特征漏检问题，结合小天体自身特点采取深度学习算法实现对小天体导航陆标的智能识别。小天体导航陆标智能检测算法的识别结果如图1所示，该算法能够更好地完成小天体导航陆标的检测任务，小天体导航陆标的识别率达到86.75%。
图 1小天体导航陆标检测结果
Figure 1.Detection results of small celestial navigation landmarks
-
导航陆标识别结果以矩形预测框形式输出，利用图像像素信息构建预测框特征描述符。预测框描述符（Prediction Frame Descriptor，PFD）的建立，采取一种在圆形支撑区域内划分梯度方向区间构建归一化描述符的方法，构建流程图如图2所示。
图 2预测框描述符构建流程图
Figure 2.Prediction box descriptor build
-
针对着陆过程中可视区域逐渐变小造成的图像尺度变化，对图像进行降采样和高斯模糊来构建尺度空间金字塔，如图3所示，通过模拟图像数据的多尺度特征，对金字塔中每幅图像的预测框描述，以保证构建的描述符具有尺度不变性。降采样因子为
$\sqrt 2 $ ，以此保证在空间的连续性。输入图像大小与高斯金字塔层数关系为
图 3预测框高斯金字塔
Figure 3.Prediction frame gauss pyramid
$$ octave=\frac{\mathrm{lg}（{ {\rm{min}}}（width\text{，}height））}{\mathrm{lg}2}-2 $$ (1) 其中：width、height分别为原图像的尺寸；min（）为选取原图像宽和高的最小值。
$$ 预测框匹配率= \frac{正确匹配数}{总匹配数} \times 100 \text% $$ (2) 描述符支撑区域的选取影响预测框匹配率和匹配速度。若选取矩形预测框作为支撑区域，当图像发生旋转变化后，预测框内的信息将会发生变化，如图4（a）所示。通过等比例扩大支撑区域构建描述符提高预测框匹配率，但同时也提高了算法运算复杂度，如图4（c）所示。因此采用圆形支撑区域代替矩形区域，增强了特征区域旋转变换的鲁棒性，降低了构建描述符的运算复杂性，如图4（c）所示。
图 4支撑区域选取
Figure 4.Support area selection
-
计算支撑区域内像素点
$ （x，y） $ 的梯度幅值$ m（x，y） $ 及方向$ \alpha （x，y） $ 。支撑区域中靠近中心的像素具有更高的权重，因此采用高斯模板进行权重赋值，梯度计算如图5所示。高斯函数在取权重时采用式（2）所示二维正态分布形式，即
图 5支撑区域梯度计算
Figure 5.Support zone gradient calculation
$$ f（r）=\frac{1}{2\text{π}{\sigma }^{2}}{\text{e}}^{-\frac{{r}^{2}}{2{\sigma }^{2}}} $$ (3) 其中：r为支撑区域内像素点
$ （x，y） $ 到圆形支撑区域圆心的距离。将支撑区域内的像素点按其梯度方向划分为n个区间，如图6所示，按照划分的梯度方向对各区间内像素点梯度幅值进行求和并统计梯度直方图。对于第
$ {F_i} $ 个方向区间梯度幅值求和表示为
图 6支撑区域梯度方向划分
Figure 6.Gradient direction division of support area
$$ \Bigg\{\begin{array}{l}{F}_{i}=\Bigg[\dfrac{2\text{π}（i-1）}{n}\text{，}\dfrac{2\text{π}i}{n}\Bigg]\\ {M}_{{F}_{i}}={\displaystyle \sum _{\alpha (x,y)\in {F}_{i}}w（x\text{，}y）\cdot m（x\text{，}y）}\end{array}i\in \left[1\text{，}n\right] $$ (4) 其中：
$ w（x，y） $ 为像素点$ （x，y） $ 对应的权重系数。横轴为所划分的n个梯度方向区间，纵轴为对应方向区间内梯度幅值总和，如图7所示。
图 7支撑区域梯度直方图
Figure 7.Histogram of gradient in support region
-
梯度直方图的峰值代表了预测框的主方向，并以此方向作为起始区间遍历所有区间构建描述符。描述符的向量表达式中第一个元素为主方向所在区间，其他区间按照顺序进行排列。对应描述符可表示为
$$ D\text=\left[\begin{array}{c}{M}_{{F}_{t}}\\ \vdots \\ {M}_{{F}_{n}}\\ {M}_{{F}_{1}}\\ \vdots \\ {M}_{{F}_{t-1}}\end{array}\right]=\left[\begin{array}{c}{\displaystyle \sum _{\alpha （x\text{，}y）\in {F}_{t}}w（x\text{，}y）\cdot m（x\text{，}y）}\\ \vdots\\ {\displaystyle \sum _{\alpha （x\text{，}y）\in {F}_{n}}w（x\text{，}y）\cdot m（x\text{，}y）}\\ {\displaystyle \sum _{\alpha （x\text{，}y）\in {F}_{1}}w（x\text{，}y）\cdot m（x\text{，}y）}\\ \vdots\\ {\displaystyle \sum _{\alpha （x\text{，}y）\in {F}_{t-1}}w（x\text{，}y）\cdot m（x\text{，}y）}\end{array}\right] $$ (5) 其中：第
${F_t}$ 区间为主方向区间。为保证特征描述符具有整体亮度不变性，对描述符D进行归一化处理。令D中元素最大值为
${M_{\max }}$ ，最小值为${M_{\min }}$ ，则归一化后描述符$\tilde D$ 可表示为$$ \tilde D = \left[ {\begin{array}{*{20}{c}} {{{\tilde M}_{{F_t}}}} \\ \vdots \\ {{{\tilde M}_{{F_n}}}} \\ {{{\tilde M}_{{F_1}}}} \\ \vdots \\ {{{\tilde M}_{{F_{t - 1}}}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\dfrac{{{M_{{F_t}}} - {M_{\min }}}}{{{M_{\max }} - {M_{\min }}}}} \\ \vdots \\ {\dfrac{{{M_{{F_n}}} - {M_{\min }}}}{{{M_{\max }} - {M_{\min }}}}} \\ {\dfrac{{{M_1} - {M_{\min }}}}{{{M_{\max }} - {M_{\min }}}}} \\ \vdots \\ {\dfrac{{{M_{{F_{t - 1}}}} - {M_{\min }}}}{{{M_{\max }} - {M_{\min }}}}} \end{array}} \right] $$ (6) 根据划分区间生成生成具有尺度、平移旋转、光照不变性的n维预测框描述符。针对描述符最优维数的选取问题，在后续3.1节中通过实验进行选取，最优参数选取为10。
-
为提高正确匹配率，通过计算两描述符向量间相对距离对匹配效果进行衡量。对描述符
$ \overline D_1 $ 进行匹配时，若其最近邻描述符为$ \overline D_2 $ ，判断匹配成立条件为$$ \frac{{\left| {\overline D_1- \overline D_2 } \right|}}{{\left| {\overline D_1 } \right|}} < \gamma $$ (7) 其中：参数
$\gamma $ 为描述符相对距离的阈值。 -
为验证不同支撑区域选取范围、划分梯度区间个数和描述符间相对距离阈值对匹配结果的影响进行相关参数选取实验。
针对支撑区域的范围，选取同时具有旋转和尺度变换的测试图像对两种支撑区域进行实验测试，如图8所示，红色曲线表示支撑区域范围为预测框的外接圆，蓝色曲线表示预测框等比例矩形且与外接圆等面积的支撑区域。在其他参数不变的情况下圆形区域的匹配数高于矩形区域，验证了选择外接圆作为预测框的支撑区域优于矩形区域。
图 8支撑区域形状与预测框匹配数关系曲线
Figure 8.Curves of matching numbers between different support areas and prediction boxes
针对最优划分梯度区间个数选取问题，梯度区间个数与正确匹配率关系曲线结果如图9所示，可以看出，在相同支撑区域中，预测框匹配数随描述符维数的增加而减小，描述符维数与匹配率之间的关系如图10所示，由拟合的实验关系可知预测框正确匹配率开始随描述符维数的增加而增加，当描述符维数达到10维时，维数增加正确匹配率保持不变。梯度方向按照每36°为一个区域划分为10个区间，即生成10维预测框描述符，相对尺度不变特征变换（Scale-invariant feature transform，SIFT）、SURF（Speeded Up Robust Features）等匹配算法降低了特征描述符的维数。
图 9梯度区间个数与正确匹配率关系曲线
Figure 9.Relation curve between number of gradient intervals and the matching accuracy rate
符间欧氏距离阈值
$\gamma $ 从0.01 ~ 0.99变化时，预测框匹配数和正确匹配率的对应关系统计曲线如图11所示。由图11可知，随着阈值$\gamma $ 的提高，预测框匹配数开始增加，当参数$\gamma $ 为0.1时匹配率达到最大值，随误匹配数的增加匹配率逐渐减小。因此，选择$\gamma $ 为0.1作为描述符欧氏距离阈值。
图 10不同阈值与相对匹配数之间关系曲线
Figure 10.Curve of relationship between different thresholds
$\gamma $ and number of matches
图 11不同阈值与匹配率间关系曲线
Figure 11.Relationship curves between different thresholds and matching rates
图 12尺度变换匹配结果
Figure 12.Matching results of scale transformation
图 13旋转变换匹配结果
Figure 13.Matching results of rotation transformation
图 14亮度变化匹配结果
Figure 14.Matching results of brightness changes
图 15高斯模糊匹配结果
Figure 15.Matching results of Gaussian fuzzy
图 16全部变换匹配结果
Figure 16.Matching results of all changes
-
采用YOLOv4网络检测小天体陨石坑的识别结果对算法的匹配率进行验证，实验所用为美国国家航空航天局（National Aeronautics Space and Administration，NASA）官网得到的小天体Ceres（谷神星）图像[22]。实验包括尺度变换、旋转变换、亮度变化、高斯模糊及同时具有上述变换。实验结果如图12～16所示。
预测框匹配结果如表1所示。从表1可以看出在尺度变换、旋转变换、光照变化与高斯模糊下陨石坑匹配正确率达到90%以上。
表 1预测框匹配结果
Table 1.Prediction box matching results
变换方式 识别数 匹配数 正确数 匹配率/% 尺度变换 62 45 45 100 旋转变换 46 32 31 97 亮度变化 60 44 44 100 高斯模糊 45 34 34 100 全部变换 42 33 31 94 -
本文提出一种采用特征描述符实现深度学习预测框的匹配方法，主要包括导航陆标识别、预测框描述符构建、描述符匹配3部分。针对现有的以预测框为识别结果的检测网络均能实现导航陆标的匹配。通过优化支撑区域与描述符维数的选取，构建具有旋转平移、尺度、高斯模糊及光照不变性10维特征预测框描述符，与传统描述符算法相比降低了描述符维数，运算复杂度减小。后续将在保证识别结果匹配率的前提下结合误匹配剔除算法，使描述符在视角变化下具有鲁棒性。
Deep Learning Prediction Frame Matching Algorithm of Small Celestial Navigation Landmarks
-
摘要:深度学习算法对小天体陨石坑等导航陆标的识别率比传统算法高，但难以实现在多种图像变化下的匹配，针对此问题提出一种基于特征描述符的识别预测框描述方法，并完成识别结果的匹配。该算法首先确定识别预测框圆形支撑区域，构建具有旋转平移、尺度和亮度不变性的10维特征描述符，采用描述符向量间相对距离对预测框匹配。仿真结果表明该算法对不同变换下图像都具有较强的鲁棒性，预测框正确匹配率达到90%以上，可为小天体探测导航提供技术支持。Abstract:Deep learning algorithm has a higher recognition rate for navigation landmarks such as small meteor craters than traditional algorithms, but it is difficult to achieve matching under various image changes. To solve this problem, a description method of recognition prediction box based on feature descriptor was proposed, and the matching of recognition results was completed. Firstly, the circular support region of the recognition prediction frame was determined and a 10-dimensional feature descriptor with rotation and translation scale and luminance invariance was constructed and the prediction frame was matched by the relative distance between descriptor vectors. The results show that the proposed algorithm is robust to images under different transformations, and the correct matching rate of the prediction frame is over 90%. It may provide the reference for the asteroid exploration navigation system.Highlights
● The combination of artificial intelligence recognition network and feature descriptor is used to achieve accurate matching of navigation landmarks of small celestial bodies. ● The prediction frame descriptor with scale，rotation and translation invariance is constructed by determining the supporting region of the prediction frame. ● Deep learning network is used to verify the matching performance of the proposed algorithm under scale，rotation and translation changes. -
图 8支撑区域形状与预测框匹配数关系曲线
Fig. 8Curves of matching numbers between different support areas and prediction boxes
图 9梯度区间个数与正确匹配率关系曲线
Fig. 9Relation curve between number of gradient intervals and the matching accuracy rate
图 10不同阈值与相对匹配数之间关系曲线
Fig. 10Curve of relationship between different thresholds
$\gamma $ and number of matches
图 11不同阈值与匹配率间关系曲线
Fig. 11Relationship curves between different thresholds and matching rates
表 1预测框匹配结果
Table 1Prediction box matching results
变换方式 识别数 匹配数 正确数 匹配率/% 尺度变换 62 45 45 100 旋转变换 46 32 31 97 亮度变化 60 44 44 100 高斯模糊 45 34 34 100 全部变换 42 33 31 94 
下载:
导出CSV
-
[1] 崔平远,贾贺,朱圣英,等. 小天体光学导航特征识别与提取研究进展[J]. 宇航学报,2020,41(7):880-888.doi:10.3873/j.issn.1000-1328.2020.07.006CUI P Y,JIA H,ZHU S Y,et al. Research progress on optical navigation feature recognition and extraction technologies for small body exploration[J]. Journal of Astronautics,2020,41(7):880-888.doi:10.3873/j.issn.1000-1328.2020.07.006 [2] 张荣桥,黄江川,赫荣伟,等. 小行星探测发展综述[J]. 深空探测学报(中英文),2019,6(5):417-423,455.ZHANG R Q,HUANG J C,HE R W,et al. The development overview of asteroid exploration[J]. Journal of Deep Exploration,2019,6(5):417-423,455. [3] 夏元清. 火星探测器进入、下降与着陆过程的导航、制导与控制: “恐怖”七分钟[M]. 北京: 科学出版社, 2018. [4] 崔平远,葛丹桐,朱圣英,等. 行星着陆点自主评估与选取研究进展[J]. 中国科学:技术科学,2021,51(11):1315-1325.doi:10.1360/SST-2020-0228CUI P Y,GE D T,ZHU S Y,et al. Research progress of autonomous planetary landing site assessment and selection[J]. Scientia Sinica Technologica,2021,51(11):1315-1325.doi:10.1360/SST-2020-0228 [5] EMAMI E,AHMAD T,BEBIS G,et al. Crater detection using unsupervised algorithms and convolutional neural networks[J]. IEEE Transactions on Geoscience and Remote Sensing,2019,57(8):5373-5383.doi:10.1109/TGRS.2019.2899122 [6] TIAN Y,YU M,YAO M B,et al. Crater edge-based flexible autonomous navigation for planetary landing[J]. The Journal of Navigation,2019,72(3):649-668.doi:10.1017/S0373463318000966 [7] 于正湜,朱圣英,马冬梅,等. 行星表面非规则陨石坑检测与识别方法[J]. 宇航学报,2013,34(3):320-326.YU Z S,ZHU S Y,MA D M,et al. Detection and recognition method for irregular craters on planetary surface[J]. Journal of Astronautics,2013,34(3):320-326. [8] CHRISTOFF N, MANOLOVA A, JORDA L, et al. Morphological crater classification via convolutional neural network with application on MOLA data[C]//Advances in Neural Networks and Applications. St. Konstantin and Elena Resort, Bulgaria: IEEE, 2018. [9] EMAMI E, AHMAD T, BEBIS G, et al. Lunar crater detection via region-based convolutional neural networks[C]//The 49th Lunar and Planetary Science Conference. Woodlands, Texas: LPI, 2018. [10] WANG H,JIANG J,ZHANG G. CraterIDNet:an end-to-end fully convolutional neural network for crater detection and identification in remotely sensed planetary images[J]. Remote Sensing,2018,10(7):1067.doi:10.3390/rs10071067 [11] RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention - MICCAI 2015 - 18th International Conference. Munich, Germany: Springer, 2015. [12] LEE C. Automated crater detection on mars using deep learning[J]. Planetary and Space Science,2019,170:16-28.doi:10.1016/j.pss.2019.03.008 [13] CHEN S,LI Y,ZHANG T,et al. Lunar features detection for energy discovery via deep learning[J]. Applied Energy,2021,296:117085.doi:10.1016/j.apenergy.2021.117085 [14] 郑磊,胡维多,刘畅. 基于深度学习的大型陨石坑识别方法研究[J]. 北京航空航天大学学报,2020,46(5):994-1004.ZHENG L,HU W D,LIU C. Large crater identification method based on deep learning[J]. Journal of Beijing University of Aeronautics and Astronautics,2020,46(5):994-1004. [15] FURLÁN F, RUBIO E, SOSSA H, et al. Rock detection in a mars-like environment using a CNN[C]//Mexican Conference on Pattern Recognition. Mexico: Springer, 2019. [16] LI H C,QIU L W,LI Z,et al. Automatic rocks segmentation based on deep learning for planetary rover images[J]. Journal of Aerospace Information Systems,2021,18(11):755-761.doi:10.2514/1.I010925 [17] SONG J,RONDAO D,AOUF N. Deep learning-based spacecraft relative navigation methods:A survey[J]. Acta Astronautica,2022,191:22-40.doi:10.1016/j.actaastro.2021.10.025 [18] KIM C, FUXIN L, ALOTAIBI M, et al. Discriminative appearance modeling with multi-track pooling for real-time multi-object tracking[C]//IEEE International Conference on Computer Vision. Montreal: IEEE, 2021. [19] DAI P, WENG R, CHOI W, et al. Learning a proposal classifier for multiple object tracking[C]//IEEE International Conference on Computer Vision. Montreal: IEEE, 2021. [20] SUN P, CAO J, JIANG Y, et al. Dancetrack: multi-object tracking in uniform appearance and diverse motion[C]//IEEE International Conference on Computer Vision. Changchun, China: IEEE, 2022. [21] CIOPPA A, GIANCOLA S, DELIEGE A, et al. Soccernet-tracking: multiple object tracking dataset and benchmark in soccer videos[C]//IEEE International Conference on Computer Vision. Changchun, China: IEEE, 2022. [22] DANELLJAN M, HÄGER G, KHAN F S, et al. Convolutional features for correlation filter based visual tracking[C]//IEEE International Conference on Computer Vision Workshops. Santiago, Chile: IEEE, 2015. [23] HELD D, THRUN S, SAVARESE S. Learning to track at 100 fps with deep regression networks[C]//14th European Conference on Computer Vision. Amsterdam, The Netherlands: Springer, 2016. [24] DANELLJAN M, HÄGER G, KHAN F, et al. Accurate scale estimation for robust visual tracking[C]//British Machine Vision Conference. Nottingham, UK: BMVA Press, 2014. [25] ZHOU X, YIN T, KOLTUN V, et al. Global tracking transformers[C]//IEEE International Conference on Computer Vision. Changchun, China: IEEE, 2022. [26] POSSEGGER H, MAUTHNER T, BISCHOF H. In defense of color-based model-free tracking[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Santiago, Chile: IEEE, 2015. [27] 邵巍,郗洪良,王光泽,等. 暗弱环境下小天体陨石坑智能检测算法[J]. 宇航学报,2021,42(11):1439-1445.doi:10.3873/j.issn.1000-1328.2021.11.010SHAO W,XI H L,WANG G Z,et al. An intelligent detection algorithm for small body craters in faint environment[J]. Journal of Astronautics,2021,42(11):1439-1445.doi:10.3873/j.issn.1000-1328.2021.11.010 -
点击查看大图
图(16)/
表 (1)
计量
- 文章访问数:221
- HTML全文浏览量:163
- PDF下载量:41
- 被引次数:0
