基于嵌入式机器视觉智能果实分拣机器人设计与试验

doi:10.12398/j.issn.2096-7217.2023.03.007

摘要/Abstract

摘要：

随着人工成本的升高，采用智能化的现代设备代替人类完成一系列重复性的、枯燥的、甚至高强度的劳动是当前机器人研究的一个重要方向。分拣机器人作为农业机器人的重要分支，具有良好的发展潜力。为了实现替代人工将成熟度、大小不同的果实进行识别、分拣，运用STM32单片机、OpenMV机器视觉模块、ESP32单片机设计一款智能分拣果实机器人。OpenMV机器视觉模块采集果实的颜色、大小信息，判断水果是否成熟，STM32单片机控制机器人的运动以及机械臂执行相应的分拣程序，将水果分拣到指定容器，ESP32单片机将分拣数据上传到云端。机器人在设计过程中使用三维建模软件进行结构设计，建立三维模型并进行仿真分析。仿真结果表明在一定程度上能够实现分拣自动化、信息化、高效化。在研究中对实物进行多次、两个分拣点调试，一共分拣了24颗果实，对果实的分拣的成功率达到87.5%，研究结果表明分拣机器人能够实现精准分拣，且达到一定的可靠性和实用性，可以替代人类完成果实精准分拣的工作。

关键词: STM32, OpenMV, 智能分拣, ESP32, PID控制, 逆运动学分析

Abstract:

With the increase in labor costs， using intelligent modern equipment to replace humans to complete a series of repetitive， boring， and even high-intensity labor is an important direction in current robot research. Sorting robots， as an important branch of agricultural robots， have good development potential. In order to replace manual， this article used the STM32 microcontroller， OpenMV machine vision module， and ESP32 microcontroller to design an intelligent fruit sorting robot so as to identify and sort fruits with different maturities and sizes. The OpenMV machine vision module collected the color and size information of the fruit， and judged whether the fruit was ripe. The STM32 microcontroller controlled the robot's movement and the robotic arm executed the corresponding sorting program to sort the fruit into the designated container. The ESP32 microcontroller uploaded the sorting data to the cloud. The robot used 3D software for structural design， established 3D models， and conducted simulation analysis during the design process. The simulation results indicated that sorting automation， informatization， and efficiency can be achieved to a certain extent. In the research， multiple and two sorting points were debugged on the physical object， and a total of 24 fruits were sorted. The success rate of fruit sorting reached 87.5%. The research results showed that the sorting robot can achieve precise sorting and achieve a certain degree of reliability and practicality， which can replace human beings to complete the work of precise fruit sorting.

Key words: STM32, OpenMV, intelligent sorting, ESP32, PID control, inverse kinematic analysis

中图分类号:

S226.9

白振伟, 严富威, 袁培海, 张浩明, 杨润树. 基于嵌入式机器视觉智能果实分拣机器人设计与试验[J]. 智能化农业装备学报（中英文）, 2023, 4(3): 61-70.

BAI Zhenwei, YAN Fuwei, YUAN Peihai, ZHANG Haoming, YANG Runshu. Design and experiment of fruit sorting robot based on embedded machine vision[J]. Journal of Intelligent Agricultural Mechanization, 2023, 4(3): 61-70.

图/表 25

图1 实验场地模型图

Figure 1 Model diagram of experimental site

表1 材料性能参数表

Table 1 Material performance parameters

性能指标	性能参数
硬度/HD （ASTM Method D2240）	76~86
拉伸模量/MPa （ASTM Method D638M）	2 559~2 678
拉伸强度/MPa （ASTM Method D638M）	38~56
断裂延展率/% （ASTM Method D638M）	8~14
弯曲强度/MPa （ASTM Method D790M）	69~73
弯曲模量/MPa （ASTM Method D790M）	2 670~2 758

表2 结构参数表

Table 2 Structure parameter

机械结构	机械参数
最大车长/mm	295
最大车宽/mm	219
主控板架高度/mm	30
最大主力臂长/mm	145
最大前臂长/mm	172
最大前伸距离/mm	208
爪间最大距离/mm	58

图2 机器人结构参数图

Figure 2 Structural parameter diagram

图3 车身结构模型图

Figure 3 Body structure model diagram

图4 MG945S舵机模型图

Figure 4 MG945S actuator model diagram

图5 机械臂屈伸运动仿真

Figure 5 Simulation of the flexion and extension motion of a robotic arm

图6 机械臂夹爪抓取动作仿真

Figure 6 Simulation of the clamping action of a mechanical arm

图7 机械臂变形和受力情况图

Figure 7 Mechanical arm deformation and force diagram

图8 智能分拣机器人实物图

Figure 8 Physical image of intelligent sorting robot

图9 转向连杆机构1.防滑车轮2.舵机　3.车轮连接结构　4.舵叶　5.连接杆

Figure 9 Steering linkage

图10 机械臂屈伸结构图1.舵机2.舵叶　3.主力臂　4.前臂　5.连接杆

Figure 10 Mechanical arm flexion and extension structure diagram

图11 硬件结构图

Figure 11 Hardware structure diagram

表3 硬件参数型号表

Table 3 Hardware parameter model

硬件模块名称	硬件型号参数
主控制器	STM32F103zet6
联网控制器	ESP32单片机
机器视觉模块	OpenMV
电机驱动模块	L298N
机械臂舵机	MG945S数字舵机
直流减速电机	MG513P10_12V
电源模块	LM2596S DC-DC
温湿度传感器	DHT11
超声波测距模块	HC-SR04

图12 复位电路图

Figure 12 Reset circuit diagram

图13 电源电路图

Figure 13 Power circuit diagram

图14 双H桥电路原理图

Figure 14 Circuit schematic diagram of dual H-bridge

图15 视觉模块运行流程图

Figure 15 Visual module operation flowchart

图 16 颜色阈值判定

Figure 16 Color threshold determination

图17 主程序流程图

Figure 17 Procedure flow chart

图18 控制程序流程图

Figure 18 Control procedure flow chart

图19 机械臂初始位置几何模型

Figure 19 Geometric modeling of initial position of manipulator

图20 机械臂转动后位置几何模型

Figure 20 Geometric modeling of the position of the manipulator after rotation

图21 有效区域示意图

Figure 21 Schematic diagram of effective area

表4 试验结果数据表

Table 4 Data sheet of experimental results

果实类别	果实数目/个	识别数目/个	识别率/%	抓取成功数目/个	抓取成功率/%
成熟果实（红色小球）	12	12	100	11	87.5
未成熟果实（绿色小球）	12	12	100	10	87.5

参考文献 20

1	农业农村部市场预警专家委员会. 中国农业展望报告（2023-2032）[R]. 北京: 中国农业科学技术出版社， 2023.
2	包军民，支双双，余有江. 基于STM32的农业采摘机器人设计与实现［J］. 微型电脑应用， 2020， 36（5）： 14-19.
	BAO Junmin， ZHI Shuangshuang， YU Youjiang. Design and implementation of agricultural harvesting robot based on STM32 ［J］. Microcomputer Applications，2020，36（5）： 14-19.
3	唐媛红，刘月云. 基于机器视觉的采摘机器人分拣控制研究［J］. 农机化研究， 2021， 43（11）： 216-220.
	TANG Yuanhong， LIU Yueyun. Research on picking robot sorting control based on machine vision ［J］. Journal of Agricultural Mechanization Research， 2021， 43（11）： 216-220.
4	刘明涛，刘亚，郭俊先. 水果无损检测技术的研究与应用［J］.农业科技与装备， 2017（6）： 51-55.
	LIU Mingtao， LIU Ya， GUO Junxian. Research and application on fruit nondestructive detection technology ［J］. Agricultural Science & Technology and Equipment， 2017（6）： 51-55.
5	代泽繁，秦剑锋，江英杰，等. 百香果分拣装置的设计与研究［J］. 轻工科技， 2019， 35（10）： 39-40.
6	罗家宁，贺泉，张思豪，等. 一种教学用采摘竞赛机器人［J］. 机电工程技术， 2021， 50（12）： 131-134.
	LUO Jianing， HE Quan， ZHANG Sihao，et al. A picking competition robot for teaching ［J］. Mechanical & Electrical Engineering Technology， 2021， 50（12）： 131-134.
7	许联航. 四轴支架搬运车转向机构设计［J］. 陕西煤炭， 2023， 42（1）： 116-120， 133.
	XU Lianhang. Design of steering mechanism for four axle support carrier ［J］. Shaanxi Coal，2023， 42（1）： 116-120， 133.
8	袁琛，陈飞，谢启，等. 基于STM32和QT平台的农业大棚远程监控系统设计［J］. 常熟理工学院学报， 2023， 37（2）： 26-32.
	YUAN Chen， CHEN Fei， XIE Qi，et al. Design of remote monitoring system for agricultural greenhouse based on STM32 and QT platform ［J］. Journal of Changshu Institute of Technology， 2023， 37（2）： 26-32.
9	秦学珍，刘萍. 基于STM32的智能耕种机器人系统设计［J］. 无线互联科技， 2022， 19（7）： 66-67.
	QIN Xuezhen， LIU Ping. Design of intelligent farming robot system based on STM32 ［J］. Wireless Internet Technology， 2022， 19（7）： 66-67.
10	李敏，田开坤. 基于ARM控制器对齿轮减速同步电机的精确控制［J］. 湖北师范大学学报（自然科学版）， 2022， 42（3）： 42-47.
	LI Min， TIAN Kaikun. Precise control of gear reduction synchronous motor based on ARM controller ［J］. Journal of Hubei Normal University（Natural Science）， 2022， 42（3）： 42-47.
11	施志荣. 基于STM32F407的无刷电机调速系统设计［J］. 九江学院学报（自然科学版）， 2022， 37（2）： 27-30.
	SHI Zhirong. Study on plastic behavior of micro scale metals based on strain gradient ［J］. Journal of Jiujiang University （Natural Science Edition）， 2022， 37（2）： 27-30.
12	张怡，于佳，杨铭，等. 基于STM32的智能坦克车系统研究［J］. 电子设计工程， 2018， 26（10）： 129-133.
	ZHANG Yi， YU Jia， YANG Ming，et al. Study on intelligent tank system based on STM32 ［J］. Electronic Design Engineering， 2018， 26（10）： 129-133.
13	付书添，查雪红，许超. 基于OpenMV视觉系统的智能送药分拣机器人［J］. 工业控制计算机， 2022， 35（7）： 6-9.
	FU Shutian， ZHA Xuehong， XU Chao. Smart medicine car based on OpenMV vision system ［J］. Industrial Control Computer， 2022， 35（7）： 6-9.
14	郑可建，张劲东，黄少波. 基于OpenMV视觉分拣机器人的研发［J］. 电子制作， 2022， 30（9）： 27-30.
15	刘昌林. 基于STM32单片机的智能避障分拣机器人设计［J］. 科技风， 2022（23）： 1-3.
16	赵鹏，钱美，李帅波. 单片机PID电机转速与位置控制系统设计［J］. 工业仪表与自动化装置， 2022（4）： 24-27， 44.
	ZHAO Peng， QIAN Mei， LI Shuaibo. Design of microcontroller PID motor speed and position control system ［J］. Industrial Instrumentation & Automation， 2022（4）： 24-27， 44.
17	邓良益，易佳，王浩，等. 一种基于PID算法的智能分拣机器人设计［J］. 科技创新与应用， 2019（30）： 93-94.
18	周子楠，杨琦，何海燕. 基于STM32的智能物流机器人的设计［J］. 九江学院学报（自然科学版）， 2020， 35（2）： 71-77.
	ZHOU Zinan， YANG Qi， HE Haiyan. Design of intelligent logistics robot based on STM32 ［J］. Journal of Jiujiang University（Natural Sciences）， 2020， 35（2）： 71-77.
19	曹孟哲，焦慧敏，焦心愿，等. 五自由度串联机械臂的几何逆向求解［J］. 制造业自动化， 2022， 44（12）： 197-200.
	ZHOU Zinan， YANG Qi， HE Haiyan，et al. Geometric inverse solution of 5-DOF robot arm system ［J］. Manufacturing Automation， 2022， 44（12）： 197-200.
20	孙浩洋，曹彦，卞科琪，等. 基于九点标定机械臂抓取的设计及应用［J］. 现代工业经济和信息化， 2023， 13（1）： 107-109， 144.
	SUN Haoyang， CAO Yan， BIAN Keqi，et al. Design and application of a nine-point calibration-based robotic arm for gripping ［J］. Modern Industrial Economy and Informationization， 2023， 13（1）： 107-109， 144.