文/Dennis scimeca
来自澳大利亚莫纳什大学（Monash University）机械与航空航天工程系和运动生成与分析实验室的Chao Chen博士及其团队scim，在2019年11月至2020年10月期间发表的一系列四篇论文中，描述scim了成功开发自动苹果采摘机所需要的视觉和机器人引导系统的详细过程。
利用了深度学习技术的自主农作物采摘系统，通常包括一个神经网络（NN）模型系统，该系统按顺序运行或平行运行，每个模型专注于一个不同的任务。研究人员通过对该系统开发的详细研究，明确了面临的挑战和成功的关键。
在他们的第一篇论文《利用深度学习在苹果园中快速实现实时水果检测》中，研究人员描述了自动标签生成模型和基于深度学习的水果检测器LedNet的创建。
图1：深度学习算法对图像进行分类和分割，而3D扫描用于确定机器人抓手的路径。（图片来源：Chao Chen）
当出现一幅新图像时，模型围绕图像的每个部分创建一个感兴趣区域（ROI），认为这是一个苹果。所有被认为包含一个苹果的ROI，被分类为前景类，图像的其余部分被归为背景类。
为了训练基于深度学习的LedNet水果检测器模型，研究人员使用微软的Kinect-v2相机，从青岛的一个果园采集了800张图像。他们还在果园以外的场景中收集了300张苹果的图像和100张不含有苹果的图像。他们从这些图像中选择了800张图像用于训练。
在他们的第二篇论文《苹果园环境中的水果检测、分割和三维可视化》中，研究人员描述了该系统的改进：通过为此目的创建一个特定的NN模型，增加了检测树枝的能力。分析每个苹果的几何特性并确定苹果相对于相机的姿势，需要深度信息。因此，研究人员使用了英特尔的RealSense D-435相机与罗技的网络摄像头C615。
在他们的第三篇论文《自主采摘苹果的视觉感知和建模》中，研究人员描述了水果检测和3D建模算法的第三次迭代，以及新机器人控制框架的创建。该系统使用优傲机器人（Universal Robots）公司的UR5机械臂进行测试。该机械臂装有一个定制设计的末端执行器；一台IntelRealSense D-435 RGB-D相机；一台运行Ubuntu 16.04 LTS操作系统的计算机，该计算机中带有NviDIA的GTX-1080Ti GPU或Jeston-X2模块；此外该系统中还包含一个Arduino Mega-2560 PLC。
图2：莫纳什大学的研究人员开发了一种算法，该算法结合了物体检测、3D建模和最佳路径预测，使机器人能够成功地采摘水果。
新系统将UR5机器人手臂和英特尔RealSense D-435相机部署在一个定制的四轮车上（见图3）。该系统运行在戴尔Inspiron PC上，配有英特尔i7-6700 CPU和NviDIA GT-1070 GPU，机器人控制器再次运行Kinetic版本的ROS和LinuxUbuntu 16.04。一个RealSense通信包连接了相机、机器人和PC。
图3：莫纳什大学的苹果采摘系统。
Soft end-effector——柔软的末端抓手
Vision camera——视觉相机
Mobile base——可移动的四轮车
Manipulator——机械臂控制单元
Control box——控制盒
在这项最终研究的结论中，研究人员指出，未来的工作包括进一步优化视觉算法，以提高准确性、稳健性和速度，并优化机器人手臂的定制末端执行器，以提高其灵活性和成功抓取苹果的能力，以应对各种实际挑战。
END
