果园作业机器人自主导航多任务联合感知方法研究

doi:10.12398/j.issn.2096-7217.2025.02.003

智能化农业装备学报（中英文） ›› 2025, Vol. 6 ›› Issue (2): 35-43.DOI: 10.12398/j.issn.2096-7217.2025.02.003

果园作业机器人自主导航多任务联合感知方法研究

张津国¹^,²(), 蔡建峰¹^,², 姜蓉蓉³, 余山山⁴, 王蓬勃¹^,²()

^1.苏州大学机电工程学院，江苏苏州，215137
^2.江苏省具身智能机器人技术重点实验室，江苏苏州，215137
^3.苏州漕阳生态农业发展有限公司，江苏苏州，215143
^4.农业农村部南京农业机械化研究所，江苏南京，210014

收稿日期:2025-04-10 修回日期:2025-05-10 出版日期:2025-05-15 发布日期:2025-05-20
通讯作者: 王蓬勃
作者简介:张津国，男，2000年生，江苏连云港人，硕士研究生；研究方向为农业机器人导航技术。E-mail： 20225229128@stu.suda.edu.cn
基金资助:
国家重点研发计划项目(2022YFB4702202);江苏省农业农村厅农机研发制造推广应用一体化试点项目(JSYTH07)

Multi-task joint perception framework for autonomous navigation in orchard robotics

ZHANG Jinguo¹^,²(), CAI Jianfeng¹^,², JIANG Rongrong³, YU Shanshan⁴, WANG Pengbo¹^,²()

^1.College of Mechanical and Electrical Engineering，Soochow University，Suzhou 215137，China
^2.Jiangsu Key Laboratory of Embodied Intelligent Robot Technology，Suzhou 215137，China
^3.Suzhou Caoyang Ecological Agriculture Development Co. ，Ltd. ，Suzhou 215143，China
^4.Nanjing Institute of Agricultural Mechanization，Ministry of Agriculture and Rural Affairs，Nanjing 210014，China

Received:2025-04-10 Revised:2025-05-10 Online:2025-05-15 Published:2025-05-20
Contact: WANG Pengbo
About author:ZHANG Jinguo， E-mail：1432263736@qq.com
Supported by:
National Key Research and Development Program of China(2022YFB4702202);Integrated Pilot Project for Agricultural Machinery Research, Development, Manufacturing, Promotion and Application of Jiangsu Provincial Department of Agriculture and Rural Affairs(JSYTH07)

摘要/Abstract

摘要：

针对果园复杂作业场景中植被异质性高、光照动态变化显著以及目标形态多样性等挑战，传统基于单任务学习的视觉感知模型因特征复用率低、计算冗余度高等问题，难以满足农业机器人实时环境感知需求。本研究提出一种面向果园场景的轻量化多任务联合感知框架AgriYOLOP，通过系统性地重构YOLOP网络架构，引入高效的主干网络，并添加增强的无锚检测技术以及增加了特征金字塔网络和路径聚合网络，并设计任务自适应的损失函数权重策略，实现树干检测、障碍物识别与可通行区域分割的并行化协同处理。在自主构建的果园数据集中进行验证，该数据集包含果园场景下4 765张分辨率为1 280像素×720像素的图像，涵盖不同季节、光照条件及植被生长阶段。试验结果表明，AgriYOLOP模型在目标检测任务中检测准确率、召回率以及mAP50分别达到92.7%、94.6%以及96.7%，在可行区域分割任务下召回率、F1分数以及mIoU达到98.3%、99.1%、98.1%，在NVIDIA RTX 4060平台下实现69f/s的实时推理速度，模型参数量仅14 M。对比结果表明，多任务协同学习架构能够显著提升特征共享效率，较单任务模型减少32.6%推理延迟，同时增强了对光照变化与季节特征的鲁棒性，有效地解决了农业机器人实时作业场景中目标检测精度与语义分割效率的协同优化难题。本研究为果园机器人自主导航提供了高精度、低延迟的实时感知解决方案。

关键词: 多任务学习, 果园环境感知, 目标检测, 语义分割, 农业机器人

Abstract:

Orchard operational scenarios present significant challenges for visual perception， including high vegetation heterogeneity， dynamic lighting variations， and diverse target morphologies. Traditional single-task visual perception models suffer from low feature reusability and high computational redundancy， thereby inadequately addressing real-time environmental perception demands for agricultural robots. This study proposes AgriYOLOP， a lightweight multi-task collaborative perception framework specifically designed for orchard environments. Through a systematic reconstruction of the YOLOP architecture， AgriYOLOP incorporates an efficient backbone network， enhanced anchor-free detection techniques， feature pyramid networks （FPN）， path aggregation networks （PAN）， and task-adaptive loss function weighting strategies. This framework faciliates parallel collaborative processing of three critical percetption tasks： trunk detection， obstacle recognition， and traversable region segmentation. The proposed framework was validated on a self-constructed orchard dataset comprising 4 765 images （1 280 pixels×720 pixels）， captured across diverse seasons， lighting conditions， and vegetation growth stages. Experimental results demonstrate that AgriYOLOP achieves 92.7% precision， 94.6% recall， and 96.7% mAP50 in object detection tasks， along with 98.3% recall， 99.1 F1 score， and 98.1% mIoU in traversable region segmentation. Deployed on an NVIDIA RTX 4060 platform， the model attains 69 f/s real-time inference speed with only 14 M parameters. Comparative experiments reveal that the multi-task collaborative architecture significantly enhances feature-sharing efficiency， reducing inference latency by 32.6% compared to single-task models while improving robustness to illumination and seasonal variations. This approach effectively mitigates the conventional trade-off between target detection accuracy and semantic segmentation efficiency encountered in real-time agricultural robotic applications. The study provides a high-precision， low-latency real-time perception solution for autonomous orchard robot navigation.

Key words: multi-task learning, orchard environment perception, target detection, semantic segmentation, agricultural robot

中图分类号:

张津国, 蔡建峰, 姜蓉蓉, 余山山, 王蓬勃. 果园作业机器人自主导航多任务联合感知方法研究[J]. 智能化农业装备学报（中英文）, 2025, 6(2): 35-43.

ZHANG Jinguo, CAI Jianfeng, JIANG Rongrong, YU Shanshan, WANG Pengbo. Multi-task joint perception framework for autonomous navigation in orchard robotics[J]. Journal of Intelligent Agricultural Mechanization, 2025, 6(2): 35-43.

图/表 9

图1 不同季节下果园行间采集数据集示例

Figure 1 Samples of datasets collected in orchard inter-row spaces across different seasons

图2 多任务学习神经网络参数共享示意图

Figure 2 Illustration of parameter sharing for MTL neural networks

图3 AgriYOLOP网络模型结构示意图

Figure 3 Schematic diagram of the AgriYOLOP multi-task learning network architecture

表1 枇杷果园行间目标检测任务对比结果

Table 1 Comparative results of object detection tasks in loquat orchard inter-row spaces

模型	Precision/%	Recall/%	mAP50/%	FPS/(f·s^-1）	Param/M
AgriYOLOP	92.7	94.6	96.7	69	14
SSD	69.8	62.3	66.1	107	24
RetinaNet	89.3	70.4	85.4	25	32
Faster-RCNN	71.1	57.1	62.7	24	41

图4 果园行间不同模型目标检测任务试验对比图

Figure 4 Comparative experimental results of multi-model object detection in orchard inter-row spaces

表2 枇杷果园行间分割任务对比结果

Table 2 Comparative results of navigable region segmentation tasks in loquat orchard inter-row spaces

模型	F1 score	Recall/%	mIoU /%	FPS /(f·s^-1）	Param/M
AgriYOLOP	98.3	99.1	98.1	69	14
U-Net	95.9	95.8	92.2	74	7
LinkNet	95.5	95.2	91.6	54	16
DeepLabv3	95.8	95.8	92.1	30	39

图5 果园行间不同模型目标检测任务试验对比图

Figure 5 Comparative experimental results of multi-model object detection in orchard inter-row spaces

表3 枇杷果园行间多任务视觉感知对比结果

Table 3 Comparative results of multi-task visual perception in loquat orchard inter-row spaces

模型	目标检测任务			分割任务
模型	Precision/%	Recall/%	mAP50/%	F1 score	Recall/%	mIoU/%
AgriYOLOP	92.7	94.6	96.7	98.3	99.1	98.1
HybridNets	88.6	87.1	89.5	97.3	97.0	96.6
R-CNNP	60.1	51.0	52.9	85.8	84.9	85.2

图6 枇杷果园行间不同模型多任务视觉感知任务试验对比图

Figure 6 Comparative experimental results of multi-task visual perception in orchard inter-row spaces

参考文献 31

1	张隆梅，刘岗微，齐彦栋，等. 农业机械无人驾驶系统关键技术研究进展（英文）［J］. 智能化农业装备学报（中英文）， 2022， 3（1）： 27-36.
	ZHANG Longmei， LIU Gangwei， QI Yandong， et al. Research progress on key technologies of agricultural machinery unmanned driving system ［J］. Journal of Intelligent Agricultural Mechanization， 2022， 3（1）： 27-36.
2	刘羊，刘宇洋，陈江春，等. 标准化果园多功能作业平台关键技术研究现状与趋势［J］. 智能化农业装备学报（中英文）， 2024， 5（1）： 31-39.
	LIU Yang， LIU Yuyang， CHEN Jiangchun， et al. Research status and trend of key technologies of standardized orchard multi-functional operation platform ［J］. Journal of Intelligent Agricultural Mechanization， 2024， 5（1）： 31-39.
3	李建平，李绍波，杨欣，等. 苹果园生产管理智能机械化技术与装备研究进展与展望［J］. 智能化农业装备学报（中英文）， 2024， 5（4）： 66-83.
	LI Jianping， LI Shaobo， YANG Xin， et al. Research progress on intelligent mechanization technology and equipment for apple orchard production management ［J］. Journal of Intelligent Agricultural Mechanization， 2024， 5（4）： 66-83.
4	张翼. 中国式现代化的推进、人口转型与弹性退休制度［J］. 北京大学学报（哲学社会科学版）， 2024， 61（5）： 128-136.
	ZHANG Yi. Promotion of chinese-style modernization，population transformation and flexible retirement system ［J］. Journal of Peking University （Philosophy and Social Sciences）， 2024， 61（5）： 128-136.
5	王文明，王志强，韩明明，等. 我国智慧果园关键技术装备研究应用现状与展望［J］. 中国果树， 2024（7）： 143-149.
6	朱云，凌志刚，张雨强. 机器视觉技术研究进展及展望［J］. 图学学报， 2020， 41（6）： 871-890
7	REN S， HE K， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）： 1137-1149.
8	CARION N， MASSA F， SYNNAEVE G， et al. End-to-end object detection with transformers ［C］// European conference on computer vision. Cham： Springer International Publishing， 2020.
9	REDMON J， FARHADI A. YOLO9000： Better， faster， stronger ［J］. IEEE， 2017： 6517-6525.
10	BENJUMEA A， TEETI I， CUZZOLIN F， et al. YOLO-Z： Improving small object detection in YOLOv5 for autonomous vehicles ［J］. 2021.
11	HUANG Z， WANG J， FU X， et al. DC-SPP-YOLO： Dense connection and spatial pyramid pooling based YOLO for object detection ［J］. Information Sciences， 2020， 522.
12	CHEN L C， PAPANDREOU G， KOKKINOS I， et al. Deeplab： Semantic image segmentation with deep convolutional nets， atrous convolution， and fully connected crfs ［J］. IEEE transactions on pattern analysis and machine intelligence， 2017， 40（4）： 834-848.
13	WENG W， ZHU X. INet： Convolutional networks for biomedical image segmentation ［J］. IEEE Access， 2021， 9： 16591-16603.
14	LI H， XIONG P， FAN H， et al. Dfanet： Deep feature aggregation for real-time semantic segmentation ［C］// Proceedings of the IEE E/CVF conference on computer vision and pattern recognition， 2019： 9522-9531.
15	GUO Y， ASHMAWY K， HUANG E， et al. Under the hood of uber atg's machinelearning infrastructure and versioning control platform for self-driving vehicles ［J］. Uber Engineering， March， 2020.
16	SISTU G， LEANG I， YOGAMANI S. Real-time joint object detection and semantic segmentation network for automated driving ［J］. 2019.
17	SENER O， KOLTUN V. Multi-task learning as multi-objective optimization ［J］. Advances in neural Information Processing Systems， 2018， 31.
18	STANDLEY T， ZAMIR A， CHEN D， et al. Which tasks should be learned together in multi-task learning？［C］// International conference on machine learning. PMLR， 2020： 9120-9132.
19	WU D， LIAO M W， ZHANG W T， et al. Correction to： YOLOP： You only look once for panoptic driving perception ［J］. Machine Intelligence Research， 2023， 20（6）： 952-952.
20	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017（99）： 2999-3007.
21	CRAWSHAW M. Multi-task learning with deep neural networks： A survey ［J］. arXiv preprint arXiv：， 2020.
22	LIU S， JOHNS E， DAVISON A J. End-to-end multi-task learning with attention ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2019： 1871-1880.
23	ZAMIR A R， SAX A， SHEN W， et al. Taskonomy： Disentangling task transfer learning ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 3712-3722.
24	VANDENHENDE S， GEORGOULIS S， VAN GANSBEKE W， et al. Multi-task learning for dense prediction tasks： A survey ［J］. IEEE transactions on Pattern Analysis and Machine Intelligence， 2021， 44（7）： 3614-3633.
25	JOCHER G， CHAURASIA A， STOKEN A， et al. Ultralytics/yolov5： v7.0-YOLOv5 SOTA real-time instance segmentation ［J］. Zenodo， 2022.
26	BOCHKOVSKIY A， WANG C Y， LIAO H Y M. YOLOv4： Optimal speed and accuracy of object detection ［J］. arXiv preprint arXiv：， 2020.
27	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 2117-2125.
28	LIU S， QI L， QIN H， et al. Path aggregation network for instance segmentation ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018： 8759-8768.
29	GOYAL P， DOLLÁR P， GIRSHICK R， et al. Accurate， large minibatch sgd： Training imagenet in 1 hour ［J］. arXiv preprint arXiv：， 2017.
30	WEI L， DRAGOMIR A， DUMITRU E， et al. SSD： Single shot multibox detector ［J］. Springer， Cham， 2016.
31	VU D， NGO B， PHAN H. HybridNets： End-to-end perception network ［J］. 2022.

[1]	王得志, 王延鑫, 汪小旵, 施印炎, 章永年. 农业机器人中的管理与采摘技术：现状、挑战与未来发展[J]. 智能化农业装备学报（中英文）, 2025, 6(2): 1-23.
[2]	吴擎, 韦润轩, 周乐, 杨浩, 刘婉茹, 徐红梅. 基于改进YOLOv5s的轻量化鲜茶叶识别方法[J]. 智能化农业装备学报（中英文）, 2025, 6(1): 1-14.
[3]	韦慧玲, 梁成斌, 王金海, 陈明猷, 罗陆锋. 绳驱柔性机械手研究进展及其在农业机器人中的应用[J]. 智能化农业装备学报（中英文）, 2024, 5(4): 95-106.
[4]	王元红, 杨志明, 王琪, 卢劲竹, 高俊锋. 基于YOLOv5s-SPD的茶芽识别方法及识别系统光源设计与试验[J]. 智能化农业装备学报（中英文）, 2024, 5(3): 33-43.
[5]	魏堂伟, 张津诚, 王晶, 周庆燕. 基于改进YOLOv7的茶叶嫩芽识别模型研究[J]. 智能化农业装备学报（中英文）, 2024, 5(2): 42-50.
[6]	闫全涛, 李丽霞, 邱权, 丛岳. 小型农田原状土样采集机器人系统研发与测试[J]. 智能化农业装备学报（中英文）, 2024, 5(1): 12-22.
[7]	黄成龙, 张忠福, 卢智浩, 张晓君, 朱龙付, 杨万能. 基于VFNet-Improved和Deep Sort的棉花黄萎病病情分级[J]. 智能化农业装备学报（中英文）, 2023, 4(2): 12-21.
[8]	肖张娜, 罗陆锋, 陈明猷, 王金海, 卢清华, 骆少明. 基于改进YOLO-v4的果园环境下葡萄检测[J]. 智能化农业装备学报（中英文）, 2023, 4(2): 35-43.
[9]	李搴曦, 孙晓明, 江晗慧, 吴爱茹, 傅隆生, 李瑞. 基于YOLOv4-tiny的设施番茄智能喷药无人车设计与试验[J]. 智能化农业装备学报（中英文）, 2023, 4(2): 44-52.
[10]	赵静娟, 杨艳萍, 郑怀国, 董瑜. 全球农业机器人研发趋势预测^*[J]. 智能化农业装备学报（中英文）, 2021, 2(1): 28-35.
[11]	王红君, 季晓宇, 赵辉, 岳有军. SENet优化的Deeplabv3+淡水鱼体语义分割^*[J]. 智能化农业装备学报（中英文）, 2021, 2(1): 36-43.
[12]	毛婷婷, 董淑娴, 薛金林. 农业机器人车辆人机协作控制的动态功能分配研究^*[J]. 智能化农业装备学报（中英文）, 2020, 1(1): 24-31.

果园作业机器人自主导航多任务联合感知方法研究

Multi-task joint perception framework for autonomous navigation in orchard robotics

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 31

相关文章 12

编辑推荐

Metrics

本文评价