杨会君教授团队在基于点云深度学习的农业场景果实特征提取方法研究取得新进展

近日 ，西北农林科技大学杨会君教授团队在基于点云深度学习的农业场景果实特征提取方法研究取得新进展，研究成果以《FSDNET: A features spreading net with density for 3d segmentation in agriculture》为题发表于国际权威期刊《Computers and Electronics in Agriculture》（中科院1区TOP，IF8.3）。杨会君教授指导的国家级科创队伍本科生刘庆贺、魏隽杰等为第学生作者，杨会君教授为通讯作者，西北农林科技大学为第一单位。

该成果提出了一种密度自适应的可镶嵌语义分割网络FSDNet以及一套田间复杂场景草莓植株数据集。该团队在陕西省杨陵区的草莓培育大棚使用深度相机获取了草莓植株数据集，由于拍摄的场景复杂，进行拍摄时会受到光照、叶片遮挡及拍摄角度等问题的影响，使得制作的草莓数据集存在多空洞多离散点的问题。目前基于点云数据的处理方法，通常需要进行特征提取与特征传播，然而点云结构具有无序性，简单的特征提取和特征传播会导致存在空洞和离散点的果实点云中的特征丢失，因此该成果添加密度计算模块和密度权重来矫正特征，提高了特征提取的效率，实现了果实的边缘点正确分割。

该成果提出的FSDNet能够以较小的计算量得到不同密度的特征点的贡献权重，在复杂场景中针对水果类农作物具有较高的分割精度 。该模型提出的基于密度的特征提取模块通过使用从密度计算中得出的权重来衰减高密度点对提取边缘点特征的贡献。提出的基于密度的特征传播模块使用基于密度的插值方法代替传统的线性插值方法，将密度计算得到的权重加入插值阶段，这些权重能够灵活地反应不同密度点的贡献，使得分割精度提升。在该团队制作的草莓数据集和苹果数据集上使用FSDNet与其他深度学习点云分割网络进行比较实验，以及不同下采样率的对比试验，实验结果表明FSDNet在水果数据集上具有明显优势。