Research progress and the prospect of crucial technology of seed spacing information detection based on computer vision

doi:10.12398/j.issn.2096-7217.2023.03.006

Abstract

Abstract:

Seed distribution information detection is an essential prerequisite for ensuring the performance of seeders， providing primary data for precise and efficient management of crop growth processes such as seed quality detection， depth determination and fertilization， field weeding， and harvesting. Computer vision technology has been widely applied in multiple fields by extracting meaningful information from image and video data and analyzing and explaining physical phenomena. Based on a systematic analysis of existing literature， this article explored the research progress of computer vision technology in seed distribution information detection from the perspectives of technology application scenarios， hardware devices， software processing algorithms， etc. The study found that computer vision technology still faces challenges in accuracy and stability in seed distribution information detection， and seed distribution information detection requires real-time and large-scale data processing capabilities. Traditional algorithms and devices are difficult to meet these needs， and data fusion and analysis capabilities still need to be improved. Accurate interpretation of seed distribution information requires comprehensive utilization of multiple sensor data and effective data processing and analysis to obtain more comprehensive and accurate results. In response to the above issues， we proposed the following suggestions： Firstly， the widespread application of deep learning and machine learning algorithms is crucial. By utilizing large-scale annotated data for model training， the accuracy and robustness of the algorithm can be improved； Secondly， it is necessary to improve the adaptability of the algorithm and optimize it for different soil conditions， seed types， and light changes to ensure that the algorithm can work effectively in various environments； At the same time， developing multi-sensor data fusion technology can provide more comprehensive and accurate seed distribution information by fusing image data with other sensor data， such as laser scanning and thermal infrared images. This study aimed to provide a reference for the future development of computer vision in seed distribution information detection.

Key words: computer vision, seed spacing, seed metering device, seed guide tube, seed metering device test bench, seeding end

CLC Number:

S223.2+3

GAO Zhen, LU Caiyun, LI Hongwen, HE Jin, WANG Qingjie, GUO Zhaoyang. Research progress and the prospect of crucial technology of seed spacing information detection based on computer vision[J]. Journal of Intelligent Agricultural Mechanization, 2023, 4(3): 50-60.

Figures/Tables 10

References 52

1	杨丽，颜丙新，张东兴，等. 玉米精密播种技术研究进展［J］.农业机械学报， 2016， 47（11）： 38-48.
	YANG Li， YAN Bingxin， ZHANG Dongxing， et al. Research progress on precision planting technology of maizeg ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（11）： 38-48.
2	陈建国，李彦明，覃程锦，等. 小麦精量播种机排种高精度检测系统设计与试验［J］. 农业机械学报， 2019， 50（1）： 66-74.
	CHEN Jianguo， LI Yanming， QIN Chengjin， et al. Design and experiment of precision detecting system for wheat-planter seeding quantity ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2019， 50（1）： 66-74.
3	李洪昌，高芳，赵湛，等. 国内外精密排种器研究现状与发展趋势［J］. 中国农机化学报，2014， 35（2）： 12-16， 56.
	LI Hongchang， GAO Fang， ZHAO Zhan， et al. Domestic and overseas research status and development trend of precision seedmetering device ［J］. Journal of Chinese Agricultural Mechanization， 2014， 35（2）： 12-16， 56.
4	冯慧敏，高娜娜，孟志军，等. 基于自动导航的小麦精准对行深施追肥机设计与试验［J］. 农业机械学报， 2018， 49（4）： 60-67.
	FENG Huimin， GAO Nana， MENG Zhijun， et al. Design and experiment of deep fertilizer applicator based on autonomous navigation for precise row-following ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（4）： 60-67.
5	陈学深，黄柱健，马旭，等. 水稻机械除草避苗控制系统设计与试验［J］. 吉林大学学报（工学版）， 2021， 51（1）： 386-396.
	CHEN Xueshen， HUANG Zhujian， MA Xu， et al. Design and test of control system for rice mechanical weeding and seedling-avoiding control ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2021， 51（1）： 386-396.
6	颜丙新，付卫强，武广伟，等. 基于卫星定位的玉米高位精播种子着床位置预测方法［J］. 农业机械学报， 2021， 52（2）： 44-54.
	YAN Bingxin， FU Weiqiang， WU Guangwei， et al. Seed location prediction method of maize high-height precision planting based on satellite positioning ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（2）： 44-54.
7	ISO Standard 7256/1-1984（E）： Sowing equipment-test methods Part 1： Single seed drills（precision drills）. Geneva ［S］.
8	苑严伟，白慧娟，方宪法，等. 玉米播种与测控技术研究进展［J］. 农业机械学报， 2018， 49（9）： 1-18.
	YUAN Yanwei， BAI Huijuan， FANG Xianfa， et al. Research progress on maize seeding and its measurement and control technology ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（9）：1-18.
9	KUMHALA F， KVIZZ， KMOCH J， et al. Dynamic laboratory measurementwith dielectric sensor for forage mass flow determination ［J］. Research in Agricultural Engineering， 2007， 53（4）： 149-154．
10	周利明，王书茂，张小超，等. 基于电容信号的玉米播种机排种性能监测系统［J］. 农业工程学报， 2012， 28（13）： 16-21.
	ZHOU Liming， WANG Shumao， ZHANG Xiaochao， et al. Seed monitoring system for corn planter based on capacitance signal ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2012， 28（13）： 16－21.
11	赵天才. 水稻直播机播量控制与播种监测系统设计与试验［D］.南京：南京农业大学， 2019.
	ZHAO Tiancai. Design and experiment of sowing amount control and seeding monitoring system for rice direct seeder ［D］. Nanjing： Nanjing Agricultural University， 2019.
12	KARIMI H, NAVID H, MAHMOUDI A. Online laboratory evaluation of seeding-machine application by an acoustic technique [J]. Spanish Journal of Agricultural Research, 2015, 13(1): e0202.
13	黄东岩，贾洪雷，祁悦，等. 基于聚偏二氟乙烯压电薄膜的播种机排种监测系统［J］. 农业工程学报， 2013， 29（23）： 15-22.
	HUANG Dongyan， JIA Honglei， QI Yue， et al. Seeding monitor system for planter based on polyvinylidence fluoride piezoelectric film ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（23）： 15-22.
14	陈飞飞. 基于特征表示的行为识别方法研究［D］. 武汉：华中科技大学， 2015.
	CHEN Feifei. Research on action recognition method based on feature representation ［D］. Wuhan： Huazhong University of Science & Technology， 2015.
15	陈书法，冯博，芦新春，等. 智能电控精量播种技术研究现状及展望［J］. 中国农机化学报， 2022， 43（12）： 5-12.
	CHEN Shufa， FENG Bo， LU Xinchun， et al. Research progress and prospect of intelligent electronic control precision seeding technology ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（12）： 5-12.
16	胡松立. 基于机器视觉的PCB微钻几何参数精密检测技术研究［D］. 上海：上海交通大学， 2009.
	HU Songli. Machine vision based precise detection of PCB microdrill’s geometry parameters ［D］. Shanghai： Shanghai Jiao Tong University， 2009.
17	董文浩，马旭，李宏伟，等. 嵌入式机器视觉的杂交稻低播种量检控装置设计［J］. 吉林大学学报（工学版）， 2020， 50（6）： 2295-2305.
	DONG Wenhao， MA Xu， LI Hongwei， et al. Design of low seeding quantity detection and control device for hybrid rice utilizing embedded machine vision ［J］. Journal of Jilin University （Engineering and Technology Edition）， 2020， 50（6）： 2295-2305.
18	杨洋，苗伟，张铁，等. 基于图像自适应分类算法的花生出苗质量评价方法［J］. 农业机械学报， 2018， 49（3）： 28-35.
	YANG Yang， MIAO Wei， ZHANG Tie， et al. Quality evaluation method of peanut seeding based on image adaptive classification algorithm［J］.Transactions of the Chinese Society for Agricultural Machinery， 2018， 49（3）： 28-35.
19	李朋飞，王熙，丁国超，等. 精准播种机粒距检测系统信号与图像处理的研究［J］. 农机化研究， 2021， 43（6）： 20-25.
	LI Pengfeia， WANG Xia， DING Guochao， et al. Precision seeder particle distance detection output signal noise reduction and image processing［J］. Journal of Agricultural Mechanization Research， 2021， 43（6）： 20-25.
20	陈进，边疆，李耀明，等. 基于高速摄像系统的精密排种器性能检测试验［J］. 农业工程学报， 2009， 25（9）： 90-95.
	CHEN Jin， BIAN Jiang， LI Yaoming， et al. Performance detection experiment of precision seed metering device based on high-speed camera system ［J］. Transactions of the CSAE， 2009， 25（9）： 90-95.
21	LI Q, LIN H, XIU Y, et al. The design and development of test platform for wheat precision seeding based on image processing techniques [C]// Computer and Computing Technologies in Agriculture III: Third IFIP TC 12 International Conference, CCTA 2009, Beijing, China, October 14-17, 2009, Revised Selected Papers 3. Springer Berlin Heidelberg, 2010: 352-358.
22	韩国鑫，谭峰，谢秋菊，等. 基于机器视觉的水稻精量穴直播机播种监测系统的研究［J］. 肇庆学院学报， 2020， 41（5）： 55-62.
	HAN Guoxin， TAN Feng， XIE Qiuju， et al. Precise dibbling species mechanical sowing rice monitoring system based on machine vision ［J］. Journal of Zhaoqing University， 2020， 41（5）： 55-62.
23	廖庆喜，邓在京，黄海东. 高速摄影在精密排种器性能检测中的应用［J］. 华中农业大学学报， 2004（5）： 570-573.
	LIAO Qingxi， DENG Zaijing， HUANG Haidong. Application of the high speed photography checking the precision metering performances ［J］. Journal of Huazhong Agricultural University， 2004（5）： 570-573.
24	郝嘉永. 基于无人机RGB图像的玉米播种质量监测与产量分析［D］. 呼和浩特：内蒙古农业大学， 2021.
	HAO Jiayong. Monitoring of maize sowing quality and uniformity analysis of emergence based on UAV RGB image ［D］. Hohhot: Inner Mongolia Agricultural University， 2021.
25	刘志，贺正，苗芳芳，等. 基于无人机的水肥一体化玉米出苗率估算方法与试验［J］. 浙江农业学报， 2019， 31（6）：977-985.
	LIU Zhi， HE Zheng， MIAO Fangfang， et al. Method and experiment for estimating emergence rate of water and fertilizer integratedmaize based on drone technology ［J］. Acta Agriculturae Zhejiangensis， 2019， 31（6）： 977-985.
26	戴建国，薛金利，赵庆展，等. 利用无人机可见光遥感影像提取棉花苗情信息［J］. 农业工程学报， 2020， 36（4）： 63-71.
	DAI Jianguo， XUE Jinli， ZHAO Qingzhan， et al. Extraction of cotton seedling growth information using UAV visible light remote sensing images ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（4）： 63-71.
27	朱松松，陈至坤，张怡. 基于无人机数字图像的棉花出苗信息提取［J］. 现代电子技术， 2022， 45（1）： 61-64.
	ZHU Songsong， CHEN Zhikun， ZHANG Yi. Cotton seeding emergence information extraction based on UAV digital image ［J］. Modern Electronics Technique， 2022， 45（1）： 61-64.
28	陈雯. 基于无人机图像的小麦出苗均匀度评价［D］. 扬州：扬州大学，2018.
	CHEN Wen. Evaluation of seed emergence uniformity of wheat based on UAV image ［D］. Yangzhou： Yangzhou University， 2018.
29	赵弋秋. 基于无人机影像的大豆苗情快速检测方法研究［D］.郑州：河南农业大学， 2022.
	ZHAO Yiqiu. Research on rapid detection method of soybean seedling growth information based on UAV images ［D］. Zhengzhou： Henan Agricultural University，2022.
30	张新龙. 基于无人机影像的玉米出苗质量评价方法研究［D］.石河子：石河子大学， 2022.
	ZHANG Xinlong. Study on evaluation method of maize seedling emergence quality based on UAV image［D］.Shihezi： Shihezi University， 2022.
31	LIN Y D， CHEN T T， LIU S Y， et al. Quick and accurate monitoring peanut seedlings emergence rate through UAV video and deep learning ［J］. Computers and Electronics in Agriculture， 2022： 197.
32	刘志. 基于无人机玉米出苗率估算与光谱特性的氮素诊断［D］.银川：宁夏大学， 2019.
	LIU Zhi. Estimation of maize seeding emergence rate of UAV and nitrogen diagnosis of spectral characteristics ［D］. Yinchuan： Ningxia University， 2019.
33	侯加林，田林，李天华，等. 基于双侧图像识别的大蒜正芽及排种试验台设计与试验［J］. 农业工程学报， 2020， 36（1）： 50-58.
	HOU Jialin， TIAN Lin， LI Tianhua， et al. Design and experiment of test bench for garlic bulbil adjustment and seeding based on bilateral image identification ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2020， 36（1）： 50-58.
34	程振，宋井玲，徐洪岑，等. 基于机器视觉的蒜种智能定向技术综述［J］. 智能化农业装备学报（中英文）， 2023， 4（2）： 63-70.
	CHENG Zhen， SONG Jingling， XU Hongcen， et al. Overview of intelligent orientation technology of garlic seed based on machine vision［J］. Journal of Intelligent Agricultural Mechanization， 2023， 4（2）： 63-70.
35	薛金利. 基于无人机可见光影像的棉花苗情监测［D］. 石河子：石河子大学，2020.
	XUE Jinli. Cotton seedling monitoring based on visible light image of UAV ［D］. Shihezi： Shihezi University， 2020.
36	高振，卢彩云，李洪文，等. 种子位置信息视觉检测系统开沟延时回土装置研究［J］. 农业机械学报， 2022， 53（12）： 32-42.
	GAO Zhen， LU Caiyun， LI Hongwen， et al. Soil backfill delayed opening device for visual detection system of seed position information ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（12）： 32-42.
37	NAVID H， EBRAHIMIAN S， GASSEMZADEH H. Laboratory evaluation of seed metering device using image processing method ［J］. Australian Journal of Agricultural Engineering， 2011， 2： 1-4.
38	MANGUS D L， SHARDA A， FLIPPO D， et al. Development of high-speed camera hardware and software package to evaluate real-time electric seed meter accuracy of a variable rate planter［J］. Computers and Electronics in Agriculture， 2017， 142： 314-325.
39	KARAYEL D， WIESEHOFF M， ÖZMERZI A， et al. Laboratory measurement of seed drill seed spacing and velocity of fall of seeds using high-speed camera system ［J］.Computers and Electronics in Agriculture， 2006， 50： 89–96.
40	安爱琴，王玉顺，聂永芳，等. 基于机器视觉的帧种子数识别及其应用［J］. 农机化研究， 2013， 35（4）： 171-173， 194.
	AN Aiqin， WANG Yushun， NIE Yongfang， et al. Recognition and application of the frame seed number based on machine vision ［J］.Journal of Agricultural Mechanization Research， 2013， 35（4）： 171-173， 194.
41	王玉顺，郭俊旺，赵晓霞，等. 基于机器视觉的条播排种器性能检测及分析［J］. 农业机械学报， 2005（11）： 56-60， 55.
	WANG Yushun， GUO Junwang， ZHAO Xiaoxia， et al. Performance detection and analysis of a machine vision based metering mechanism of drill ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2005（11）： 56-60， 55.
42	蔡晓华，吴泽全，刘俊杰，等. 基于计算机视觉的排种粒距实时检测系统［J］. 农业机械学报， 2005（8）： 41-44.
	CAI Xiaohua， WU Zequan， LIU Junjie， et al. Grain distance real-time checking and measuring system based on computer vision ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2005（8）： 41-44.
43	马焕菲. 基于VC++排种种子流视觉检测软件的研发［D］. 晋中：山西农业大学， 2015.
	MA Huanfei.The software development of visual seed flow detection based on VC++ ［D］. Jinzhong： Shanxi Agricultural University， 2015.
44	李润涛. 基于光纤式传感器与机器视觉的双重漏播检测及补种装置研究[D]. 淄博: 山东理工大学， 2022.
	LI Runtao. Research on double missed seeding detection and reseeding device based on optical fiber sensor and machine vision ［D］. Zibo： Shandong University of Technology，2022.
45	刘立晶，刘忠军，贾振华. 多功能排种器性能试验台的设计与试验［J］. 农机化研究， 2012， 34（4）： 123-126.
	LIU Lijing， LIU Zhongjun， JIA Zhenhua. Design and test on multifunctional test-bed for seed metering performance ［J］. Journal of Agricultural Mechanization Research， 2012， 34（4）： 123-126.
46	JI Yao， HU Shuangyan， YAN Wei， et al. Structure design and experiment of air suction double-layer cylinder seedling raising and sowing line ［J］. Journal of Intelligent Agricultural Mechanization （in Chinese and English）， 2022， 3（1）： 46-53.
47	王平岗，杨德义，吴东林. 基于计算机视觉的气吸滚筒式精密排种器控制系统［J］. 农机化研究， 2019， 41（7）： 202-206.
	WANG Pinggang， YANG Deyi， WU Donglin. Control system of air suction drum type precision seed metering device based on computer vision [J]. Journal of Agricultural Mechanization Research, 2019， 41（7）： 202-206.
48	赵静，马伟童，崔欣，等. 一种基于机器视觉的精量播种自动监测及补种装置［P］. 中国： CN108848782A， 2018-11-23.
49	DEVIN L M， AJAY S， DANIEL F， et al. Development of high-speed camera hardware and software package to evaluate real-time electric seed meter accuracy of a variable rate planter ［J］. Computers and Electronics in Agriculture， 2017， 142： 314-325.
50	BADUA S， SHARDA A， FLIPPO D. Sensing system for real-time measurement of seed spacing， depth， and geo-location of corn： A proof-of-concept study［J］. Transactions of the ASABE， 2019， 62（6）： 1779-1788.
51	LIU W， ZHOU Z， XU X， et al. Evaluation method of rowing performance and its optimization for UAV-based shot seeding device on rice sowing［J］. Computers and Electronics in Agriculture， 2023， 207： 107718.
52	卢彩云，高振，李洪文，等. 玉米播种装置及玉米播种质量检测方法［P］. 中国： CN113079755B， 2022-12-13.

相机类型	适用场景	优点	缺点
普通相机	实际播种过程中的种子粒距和种子分布信息检测	体积小，易于安装，环境适应性强，且对处理器要求较低	采集帧率低，无法适用于高速运动的种子目标检测
高速摄像机	实验室中排种器排种效果或种子运动状态的理论研究	采集帧率高，可检测高速运动的种子	体积大，对作业环境和处理器性能要求较高
无人机	播后苗期检测，通过植株位置判断播种时的种子位置	作业效率高，且不受播种作业环境影响	出苗后检测，种子位置易受植株叶片影响

相机类型	适用场景	优点	缺点
普通相机	实际播种过程中的种子粒距和种子分布信息检测	体积小，易于安装，环境适应性强，且对处理器要求较低	采集帧率低，无法适用于高速运动的种子目标检测
高速摄像机	实验室中排种器排种效果或种子运动状态的理论研究	采集帧率高，可检测高速运动的种子	体积大，对作业环境和处理器性能要求较高
无人机	播后苗期检测，通过植株位置判断播种时的种子位置	作业效率高，且不受播种作业环境影响	出苗后检测，种子位置易受植株叶片影响

检测算法		优点	缺点
图像处理	灰度化处理、二值化、膨胀、腐蚀等技术，以及形态学运算、轮廓检测	对处理器要求较低	对图像质量要求较高，需人工调整参数和阈值，难以用于复杂场景和不规则形状的图像检测
机器学习	K均值聚类、支持向量机。YOLO系列深度学习目标检测算法	准确率和效率较高，智能化和自适应性更强	需要大量的标注数据和计算资源，对处理器性能要求较高

检测算法		优点	缺点
图像处理	灰度化处理、二值化、膨胀、腐蚀等技术，以及形态学运算、轮廓检测	对处理器要求较低	对图像质量要求较高，需人工调整参数和阈值，难以用于复杂场景和不规则形状的图像检测
机器学习	K均值聚类、支持向量机。YOLO系列深度学习目标检测算法	准确率和效率较高，智能化和自适应性更强	需要大量的标注数据和计算资源，对处理器性能要求较高

检测方法	应用场景	优点	缺点
种子在排种器内运动的性能检测	取种、排种过程	节约空间，检测结果不受种子的碰撞弹跳影响	对相机性能和检测算法的实时性要求较高
涂油皮带排种器试验台性能检测	落种过程	结果更加直观，易于测量，且对相机性能要求较低	检测结果受种子与涂油皮带的碰撞影响，且受限于输送带运动特性，无法模拟高速播种作业