详情

水果采摘机器人机械臂运动控制研究

申报人:王敬伟 申报日期:2021-12-16

基本情况

2022校院级项目管理
水果采摘机器人机械臂运动控制研究 学生申报
创新训练项目
工学
电气类
项目来源竞赛专项
一年期
使用基于闭环控制系统的总线舵机作为机械臂各关节的驱动元件,采用串口通信方式及舵机数据传输协议,将 ROS 仿真环境下机械臂的模拟运动规律转换为舵机的运动指令,并传递给实体机械臂,进而驱动机械臂按照预期轨迹运动。 控制系统是通过对机械手每个自由度的电机的控制,来完成特定动作。同时接收传感器反馈的信息,形成稳定的闭环控制。控制系统的核心通常是由单片机或dsp等微控制芯片构成,通过对其编程实现索要功能

主持和参与纵向、横向科研项目20余项指导多个学科竞赛,全国一等奖、二等奖10余项。

1方案制定:根据课题的任务要求,对任务进行分解和具体实现的方案确定指导,包括硬件方案、软件方案、项目执行方案的指导。
2、技术支持:对课题实施过程中的具体重点难点技术进行针对性指导,提供常规技术性指导,包括硬件电路设计和软件编程。
3、设备场地支持:提供项目实施过程中所需要的测试一仪器设备、硬件组装调试设备以及场地。
4、经费支持:先行提供项目实施所需的经费

校级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
王敬伟 机械与电气工程学院 电气工程及其自动化(本科) 2020 程序
孟然 机械与电气工程学院 电气工程及其自动化(本科) 2020 查资料

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
陈春 机械与电气工程学院

立项依据

随着社会人口老龄化及劳动力就业观念的转变,诸如果蔬生产等劳动密集型工作岗位需求与农业劳动力资源紧缺的社会问题日益显著。欧美、日本等 相继提出了各自的智慧农业发展战略,我国学者也从不同角度针对智慧农业及装备进行了战略研究与趋势分析。以机器人技术为核心,融合人工智能、物联网等前沿技术,加快智能农业装备研发进程,实现农业生产过程“耕、种、管、收”的自动化、智能化、机器人化,是适应农业智能化发展的必然趋势。

       水果采摘机器人在进行采摘前,首先要在复杂的环 境中把水果识别出来,然后再根据果实的成熟度来决定 是否采摘[13] 。但因为自然环境的复杂性和不确定性,以及果实受光照、枝叶等环境因素的干扰较大,使得采摘机器人对果实的目标识别成为了难题。

       针对不同的水果,有的利用基于纹理、形状的识别方法,有的利用基于色彩空间的识别算法。研究对象是绿色阳光玫瑰葡萄,其果实颜色和树叶颜色相对接近,在一定程度上加大了果实目标识别的难度。因此,先分析果实图像的颜色特征,采用基于 Otsu阈值算法对图像进行初步的分割;然后通过图像纹理特征,采用支持AdaBoost 算法和向量机(SVW)算法对图像进行进一步的精细化处理,从而获得准确的阳光玫瑰葡萄识别图像。基于此,此项研究包括以下两大块内容。

       一是基于颜色空间的初步检测处理,包括颜色空间及特征分析、颜色分类提取、Otsu阈值算法进行初步分割三个方面。 二是基于纹理的精确检测处理,包括基于 LBP 的支 持向量机(SVM)算法、基于LBP的adaboost算法、两种算法的精确度比较三个方面。 本项目旨在研究基于颜色及纹理两种外在特征基础下的图像分割算法,分析不同算法的果实识别率及其精确度,实现在自然环境下对葡萄果实识别率达到 90%以上的目标,从而为采摘机器人准确定位及实施采摘行为奠定基础。

       农业机器人技术是当今国际农业机械化研究的前沿领域,涉及果蔬采摘机器人、蔬菜嫁接机器人、果 蔬分选机器人、农田作业机器人等诸多研究方向。以果蔬采摘为例,国内外学者对果蔬采摘机器人的果蔬 类别、采摘装置构型、识别与定位技术及其工作效率 等进行了研究。

       针对不同的果蔬类型,采摘方式有所不同,与之 对应的研发技术也不尽相同。例如,苹果采摘方式大 致分为振摇式和机械臂采摘式两种。前者存在的问题是,果实采摘率难以保证达到 100%,果实坠落及相 互碰撞会造成果实一定程度的损伤。因此,机械臂研 究及装备开发日益受到国内外学者的重视。

       荷兰研制的黄瓜采摘机器人[7]由自主行走系统、 双目视觉系统和一个 7 自由度机械臂构成,通过末端执行器完成果实采摘,4 次独立实验测试的成功采摘率为 74.4%,失败的原因主要是末端执行器相对于果 实的定位不准确,需要进一步提高图像处理和机械臂 运动规划的效率。

       日本研制的圣女果采摘机器人[8]运用了一种基于 视觉反馈控制的视觉定位算法,采用双目立体视觉技 术确定果实簇的三维位置,机器人每次收获一个果实后,根据新获得的图像和最新的机械手位置更新下一个目标果实的位置,成功率为 70%。但当面对茂密叶茎后面的果实时,即便是 7 自由度机械臂,其末端夹 持器的结构形式及其采摘方式,以及机械臂的避障能 力等仍无法达到人类手臂的灵巧性。

本项目旨在研究基于颜色及纹理两种外在特征基础下的图像分割算法,分析不同算法的果实识别率及其精确度,实现在自然环境下对果实识别率达到 90%以上的目标,从而为采摘机器人准确定位及实施采摘行为奠定基础。

 水果特征提取

在自然环境下,对果实目标进行识别时,可根据果实颜色特征分为果实与背景颜色差异较大、果实与背景颜色相近这两种情况。其中,在果实与背景颜色相近的情况下,仅仅依靠颜色特征难以将目标区域提取出来,并且其识别效果较差、精确度低。因此,基于颜色和纹理两个空间角度果实进行特征的分析和提取,能极大地提 高识别率、精确度。


初步项目资料收集:查阅文献(知网、CSDN、古月居、知乎)

编写具体程序:采用串口通信方式及舵机数据传输,将ROS仿真环境下机械臂的模拟运动规律转换为舵机的运动指令,并传递给实体机械。

调试程序:进一步完善程序。

1. 给定一些列关节的状态,如何确定机械臂末端操作器的位姿?

这可由前向运动学解决。

2. 为达到机械臂末端操作器的一个位姿,需要如何设置关节的角度?

这可由逆向运动学解决

机械臂运动学有很多更为复杂的问题,以下是两个常见的应用例子:

1、如何让末端操作器沿直线运动?(运动方程式)l 如何让末端操作器给物体施加特定的力?(雅克比矩阵)现在有很多机械臂的编程语言和库软件包,并且其数目在持续地增长。程序语言中传统的有AL、VAL-II,以及函数式语言。另一种是库软件包,可以用来与C/C++或Matlab进行链接。下面我们将专门介绍一款基于ROS的功能强大的机械臂软件Moveit!

2、ROS编程

我们希望用机器来去完成一些简单枯燥的工作。但是机械臂设计复杂 , 运动学方程、程序编写复杂,为简化设计可使用一些已有的成熟工具。如MoveIt!,它是ROS中机器人进行移动操作的一套工具。主页(MoveIt! Motion Planning Framework)包含使用MoveIt!的文档、教程和安装说明以及多种机械臂(或机器人)的示例演示,如一些移动操作任务,包括抓握、拾取和放置或简单的逆向运动学的运动规划。

这个库包含一个快速的逆运动学解算器(为运动规划单元的一部分)、先进的操作算法、三维感知抓握(通常以点云的形式)、运动学、控制和导航等功能。除了后台功能,它还提供了一个易于使用的图形用户界面(GUI)通过MoveIt!和RViz插件配置新的机械臂,使用户能以直观的方式进行运动规划任务的开发。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 1500.00 购买元器件 750.00 750.00
1. 业务费 0.00 0.00 0.00
(1)计算、分析、测试费 0.00 0.00 0.00
(2)能源动力费 0.00 0.00 0.00
(3)会议、差旅费 0.00 0.00 0.00
(4)文献检索费 0.00 0.00 0.00
(5)论文出版费 0.00 0.00 0.00
2. 仪器设备购置费 0.00 0.00 0.00
3. 实验装置试制费 0.00 0.00 0.00
4. 材料费 1500.00 750.00 750.00
结束