5技术路线、拟解决的问题及预期成果
5.1 技术路线
本文以果园栽培模式下的簇生蓝莓果实为研究对象，针对其栽培模式、生长状态，进行采摘机器人总体方案的设计；其次，针对蓝莓果实的物理学特性与生长状态，进行识别算法的改进和空间坐标的获取方法的研究；最后根据结合硬件平台，进行基于蓝莓缺陷程度的分级检测算法研究。具体技术路线如下：
图1 技术路线图
5.1.1 整体结构设计
（1）工作原理
①在果园作业时主控制器通过RS232采集双目摄像机拍摄的果树行间图像与果树图像,进行处理、识别并提取视觉导航参数，然后再采集激光雷达信号，并将视觉导航信息和雷达定位信息进行融合并决策分析,进而实现自主导航。若双目摄像机检测到存在障碍，主控器根据障碍信息、深度信息、方位信息、环境信息、位姿信息等进行智能决策并避障。
②当双目摄像机采集到成熟蓝莓果实的图像后,主控制器发送电机停转指令,移动平台停止运动，同时控制指令机械臂旋转至制定图像采集位姿，双目视觉装置开始采集蓝莓灌木各部分图像。
③完成果树实时图像收集后,主控制器对成熟蓝莓果实进行识别和空间定位,进行手眼标定、坐标系转换并根据果实的坐标规划机械臂避障运动路径与正逆运动学求解。
④机械臂运动时，上位机通传感采集装置采集压力数据，向末端执行器控制器发布运动指令，控制簸箕状末端执行器到果实定位点下方 3cm 处缓慢上升，使蓝莓簇受力而脱落，掉落在簸箕式末端执行器的收集器中，通过压力传感器比较阈值以调节钢尺间距。
视野范围内成熟蓝莓采摘完毕,机械臂复位，系统重复进行上述流程；当上位机检测到果树减少至消失,说明移动平台到达边缘，移动平台转向。装置到达终点时,采摘流程结束。
（2）控制方式
硬件选型：
Jetson TX1是一款快速高效的嵌入式AI计算设备，体积小，功耗低，非常适合移动机械臂等智能边缘设备。拥有更强大的深度学习性能，满足常用的深度学习模型训练。使用英伟达高性能计算单元，读取速度是Xavier Nx和Jeston nano的10倍以上，运算性能比Jeston nano提升了不止一倍,价格适中，比Xavier Nx便宜的多，是机器人开发的理想选择。树莓派在移动机器人上可以用于简单的入门学习，但是无法跑默认的深度学习算法。
二级主从式结构控制方式：
在Jetson TX1 上单张图片的检测时间相比工控机上单张图片的检测时间提升巨大。 同时 ROS 就是一个分布式的软件框架，可以方便的实现多机间的协同工作，因此采用二级主从式结构控制方式，其特点是实时性好,对高速和高精度控制具有较好的适应性。
上层主控计算机基于Jetson TX1开发板的ROS操作系统进行系统管理、人机接口、图像处理、路径规划、智能决策等。下位机基于STM32F407VET6进行控制，负责机械臂运动控制、末端执行器运动控制、智能移动平台运动控制、果树图像及路面导航图像采集、信号采集。
分层设计方法：
跟据Saridis分级递阶智能控制理论，将蓝莓采摘机器人各个层级进行分层设计，分别为：用户层、处理层、执行层。用户层主要包括桌面端及手机端 APP的开发，进行可视化的操作，便于用户进行控制并监视，实现便携的人机交互。处理层是系统是数据交互的核心，在主控制器中对多种传感数据进行融合处理与智能决策，实现机器人的图像识别、颜色识别、定位导航、路径规划等核心工作。执行层接受处理层的指令并进行解析，生成电机控制信号，并实现实时反馈；同时借助各传感器模块对环境信息加以收集，便于执行单元完成移动和采摘的工作。
图2 系统架构图
（3）主要功能模块
果实识别和定位系统：主要由双目摄像机、USB接口和主控制器构成。选用深度相机获取深度信息，采取“眼在手”的相机安装方式实现机械臂精确控制，相机搭载于机械臂末端，同机械臂共同运动；使用基于位置的视觉伺服（PBVS）控制方法，根据当前位姿和目标位姿通过控制器控制机器人运动，形成闭环控制。
在Jetson TX1 上安装Ubuntu 18.04及ROS Kinetic、相机驱动程序和相关的 ROS 程序包，并使用一种AR标签识别技术进行辅助定位。摄像机采集果树图像,并通过USB接口将采集到的原始图像传输到主控制器,采用深度学习算法处理实时图像信息，识别得到成熟蓝莓果实；进行手眼标定来获取两坐标系的转换关系，解算出果实在机械臂基坐标系下的空间位置。
智能移动平台导航系统：主要由双目摄像机、思岚RPLIDAR A1激光雷达、陀螺仪、超声波避障传感器和主控制器构成。双目摄像机采集实时路面信息,并通过USB接口将采集到的果园路面图像传输到主控制器,在主控制器中对路面图像进行处理,同时基于激光雷达即时定位与地图建模，完成SLAM的建图与路径规划。而在无遮挡、环境结构化的情况下,采取简单的循迹与避障算法自动巡线行驶。
机器视觉导航受环境光影响较大，在暗处无法工作,导航精度不是很理想,但获取的数据量大,适用于复杂环境且成本较低。激光雷达导航测量精度高、响应速度快、抗干扰力强且全天候都能使用，但障碍物增多无法灵活避障。由于果园行间路面的非结构环境,采用机器视觉和激光雷达多传感器融合的方式进行果园导航。
机械臂系统:主要包括大扭矩步进电机并联机械臂、簸箕式采摘机构、Astra系列深度摄像头三部分。移动底盘与机械臂通过 RS232 接口与主控制器相连，可接受指令并发送数据。深度相机通过 USB 接口连接在 Jetson TX1 上。机械臂通过支架与移动底盘相连接，中部空间用于放置各种设备。
在主控制器上安装机械臂和机械手相关的驱动程序和软件包，实现机械臂和末端机构的控制以及和移动底盘的通信。机械臂伺服控制系统通过RS232发出运动指令，单片机控制驱动电机实现机械臂运动，机械臂各处的编码器对关节位姿进行实时反馈，确保正确的运动规划。末端执行器控制系统采用串口通信，通过压力传感器反馈实时压力数据以调节钢齿间距，由上位机（Jetson TX1）与下位机（STM32F407VET6 ）协作完成采摘工作。
驱动控制系统:采用STM32F407VET6 运动控制板作为下位机主控制器。通过 RS232 接口与主控制器进行通信，发送运动信息并接收运动控制指令；同时，通过伺服驱动器控制伺服电机，对智能移动平台、采摘机械臂、末端执行器进行底层驱动控制，实现底盘行走、机械臂运动、梳齿间距调整等操作。
（4）上位机通信设计
本项目各个功能规划为节点，在ROS Master节点管理器注册后，由Ros Master对各个功能节点进行管理，并且任意节点可以通过消息或话题的形式进行通信。节点包括自主导航与定位节点、运动控制节点、避障节点、图像采集节点、图像处理节点、图像显示等节点。本次通信基于ubuntu18.04运行，在该操作系统下进行建立工作空间、各个模块所在功能包文件夹、设置环境变量以及导入各模块所需C++或py算法等操作。上位机通信流程见图3。
①图像采集节点：进行摄像头驱动，获取从双目摄像机采集的蓝莓图像，并对图片进行坐标变换定位，分级测量等操作后，以topic为通道传输图像Message供给图像处理节点和图像显示节点进行订阅。
②图像处理节点：完成对蓝莓的识别和分级检测。
③图像显示节点：完成蓝莓图像采集和处理之后，该节点订阅消息，使用户可以远程查看蓝莓图像和蓝莓数据。
④建图和定位节点：获取激光雷达、双目摄像机、陀螺仪等传感器采集的信息后，采用基于激光雷达的gmapping算法和move_base功能包完成SLAM的建图定位和路径规划。
⑤运动控制节点：上位机将路径规划生成的移动控制指令给下位机底盘电机控制程序，驱动电机控制机器人行驶到目标蓝莓位置。
⑥避障节点：采集由超声波模块采集到的信息后发布关于障碍物位置信息的话题，由运动控制节点订阅。
⑦机械臂控制节点：采集到图像数据之后发布控制指令给电机以及舵机等功能模块。
图3 通信设计
5.2详细技术路线
5.2.1末端执行器设计
根据采摘机械手的设计原则，以及蓝莓植株的生物学特性、采摘需求及其生长环境的特点，对蓝莓采摘的末端执行机构进行设计，使得机械手能够满足一系列采摘与存取蓝莓的工作，并且避免对蓝莓造成较大的伤害。
首先，对蓝莓生长环境及物理特性进行分析。本项目研究对象为果园种植模式下的矮从蓝莓，密植果园较大程度地节约土地,改变以往粗放的管理方式;成熟后果实沿枝条单粒或成簇生长，一簇7-10颗浆果，表皮鲜嫩而易损，不易单粒采摘。生长环境较为复杂，其植株为多年生灌木浆果果树，树高约为30-50cm，株行距为0.5m*2m。针对以上特点，结合相关文献与民间已有工具，提出一种簸箕式末端执行机构。机械臂模拟人工采摘的过程，沿着蓝莓簇生长方向将镂空式设计的钢齿插入到蓝莓树枝下，通过挤压的方式摘取蓝莓，蓝莓脱离枝干后，自然滑落到蓝莓收集器中进行存放。
其次，分析蓝莓的采摘力学参数，验证末端执行器的结构合理性。采摘机构自身的性质和与植株的相互作用关系共同决定了蓝莓的采摘效果。分别测量蓝莓的生长特征参数、形状大小、夹紧力大小、破损压力与果梗结合力等，得出足够的力学参数，为采摘机构的设计提供理论支撑。利用游标卡尺对蓝莓果实及枝梗直径进行多次实地测量并取平均值，得到蓝莓生物学特征参数；运用微控电子拉压试验机，对蓝莓进行挤压试验、拉压试验，由STC-100力学传感器返回的压力值参数确定蓝莓损伤的最小拉力与果梗结合力。
图4 民间采摘装置
图5 蓝莓机构建模图
再利用 Pro/Engineer 三维软件，完成蓝莓采摘末端执行器的三维实体建模；再将建好的模型导入ANSYS Workbench 软件，进行末端执行机构的静力学分析。具体流程如下：
蓝莓采摘机械手建模。目前主要的三维设计软件有Unigraphics NX、Pro/ENGINEER、Solid Works、CATIA等。Pro/Engineer作为领域的新标准而得到业界的认可和推广，是现今主流的CAD/CAM/CAE软件之一。通过Pro/E，完成蓝莓采摘机械臂的三维建模。主要流程为整体结构设计、实体建模、虚拟装配、干涉检验、仿真分析五部分。
蓝莓采摘机械手的 ANSYS 有限元仿真模拟 。有限元分析（FEA）是一种计算机分析系统，将求解区域分开为依照节点相连的微小单元，给定其每部分初始状况，用有限数量的未知量去逼近无限未知量，得到真实解。首先，将Pro/E 软件中机械手简化三维模型模型导入 ANSYS Workbench 软件中，对模型进行有限元分析；接着，在Static Structure模块中定义材料参数，跟据蓝莓采摘实际需要，定义模型的接触关系；之后再进行网格划分，模型网格划分越细，则计算的精度越高，跟据蓝莓采摘机构特点，选用 3D 四面体网格及自动划分法；然后，模拟蓝莓采摘的真实场景，对模型施加固定约束及载荷分布形式；最后，得出静力学分析结果并做出分析，得出末端执行器手指的形变和应力云图。其主要流程如图6。
图6 ANSYS Workbench 有限元分析流程图
5.2.2机械臂运动控制
(1)机械臂运动控制设计
本研究运用STM32单片机作机械臂控制端，接收上位机传来的命令信号，并控制舵机以实现机械臂关节的运动，进而实现对机械臂整体硬件结构的控制。电气控制结构设计如下所示：
图7 机械臂电气控制设计
进行机械臂的运动控制，需要对机械臂进行运动学分析，具体分析步骤如下：
建立机械臂运动学方程。考虑运用D-H坐标系，即在机器人的每个连杆上都固定一个坐标系，然后用齐次变换矩阵来描述空间关系。通过依次变换推导出末端执行器相对于基坐标系的位姿，从而建立机器人的运动学方程，方便对其进行进一步的运动学求解。
正逆运动学求解。运用MATLAB机器人工具箱（Robotic_Toolbox）对机械臂进行正运动学分析，推知机械臂各几何参数与末端执行器位置之间的关系；再运用逆运动学运算实现将末端执行器推进至目标位置。
采用传统的反变换法。对于四自由度关节型机械臂，采用正运动学分析所得的齐次变换矩阵求逆，实现从目标位置到各运动参数的转换。首先两边左乘机械臂关节的齐次变换矩阵的逆矩阵，然后根据等式两边矩阵中相同位置的元素相等，得到各关节的角度变量值。
(2)机械臂运动轨迹规划
通过正、逆运动学求解后，已经得到了机械臂的运动到目标位置对应的关节变量。首先需要保证规划的轨迹平滑，使得机械臂运动平稳；其次需要提升各关节的运动速度，以提升采摘的效率。
首先需要对起点到终点的轨迹进行插值，在满足约束条件的前提下规划路径；其次需要对路径进行数值解析，根据运动学原理得到一条逼近给定的路径，然后确定满足约束条件的参数，进行路径规划。
采用关节空间法，以确保运动控制的精度，避开直角坐标空间中起始点和终止点的路径形状描述。把各关节变量描述成随时间变化的函数，给定机械臂起始点和终止点的位置信息，对于各关节的变化值，通过拟合方法，将运动轨迹表示成角位移、角速度和角加速度的函数曲线。
MATLAB机器人工具箱（Robotic_Toolbox）实现插值算法，并结合ROS Moveit!功能包，把各关节变量描述成随时间变化的函数，给定机械臂起始点和终止点的位置信息，通过拟合方法，将运动轨迹表示成角位移、角速度和角加速度的函数曲线。具体实现流程如图8。
图8 运动轨迹规划流程图
5.2.3底盘运动控制
完成蓝莓的识别和定位后，需控制机器人到达指定的蓝莓地点。由此基于机器人操作系统 (ROS) 结合激光雷达的同时定位与建图技术（SLAM) 、路径规划技术，确定蓝莓采摘机器人的行走路线。自主导航与定位节点、运动控制节点、避障节点保持独立，在ROS Master注册后，通过消息或话题的形式进行节点之间的通信。
（1）相关技术
SLAM是实现移动机器人定位与建图的核心技术之一，可使得移动机器人在未知环境中进行自主定位和实时地图构建。
ROS用于机器人的控制，可完成多种系统操作工作，如底层驱动程序管理、模块间信息的传输、模块发行包的管理等。同时，还包括采集、分析、整理数据等功能。
（2）底盘运动控制系统设计
①通讯：完成STM32开发板与Jetson TX1开发板之间的通信任务-UART串口通信，以及系统与上位机之间的通信任务-远程登录。
②建图和定位：获取由激光雷达和双目摄像机等传感器获得的信息后，我们采用基于激光雷达的gmapping算法和move_base功能包完成SLAM的建图和路径规划。
gmapping算法使用粒子滤波完成栅格地图的构建，以激光雷达和双目摄像机获取的深度信息，陀螺仪获取的IMU信息、编码器获取的里程计信息作为输入。最终在Rviz界面观看建图和机器人运动轨迹。
如图所示：
图9 gmapping算法
move_base导航主要由全局路径规划器和局部路径规划器组成，先由全局路径规划器规划出一条全局最优路径，然后由局部路径规划器把它分割成小段再进行局部路径规划，实现精确避障。ROS导航时不仅利用了move-base功能包，还利用AMCL功能包。在AMCL功能包的作用下，能够确定蓝莓采摘机器人在整个栅格图中的位置，动态分析机器人设备的在地图中的位置。最终通过rviz界面观察机器人建立的地图、机器人的位置、机器人的运动轨迹以及指定导航目标点。
表1 常见路径规划算法
5.2.4蓝莓识别与空间定位
（1）蓝莓识别
机器人抓取目标，需要首先在复杂环境下快速准确识别处蓝莓。蓝莓识别方法主要分为传统方法和深度学习方法，其中传统方法受复杂背景与复杂环境影响较大，针对蓝莓采摘机器人，深度学习方法可以更好满足实际应用需求。
Faster R-CNN 算法在果实识别领域内效果极好，针对蓝莓果实的平均识别率为95.05%，能够准确区分单一蓝莓成熟果、半成熟果与未成熟果。本项目以手工标记的蓝莓数据集作为训练集，将ZF-Net特征提取网络在样本库上预训练得到的参数作为网络的初始参数，对网络进行训练。具体流程如图10。
数据集中的训练图像经过ZF-Net特征提取网络，以 ReLU 函数作为激活函数，对所测图像进行特征提取，生成特征图。接着，利用一个候选区域生成网络（RPN），以特征提取网络输出的特征图作为输入。生成候选区域相当于目标的粗检测过程，分担后续网络的压力。网络将图像特征映射成一个256维的特征向量，跟据该向量输出18个分数及36个修正参数，利用修正参数修正即可得到候选区域。最后RPN利用Softmax层对分数归一化，区分背景与目标蓝莓。
获取候选区域后，进行分类回归操作，以特征提取网络输出的特征图和候选区域生成网络输出的候选区域为输入。为了满足全连接层对输入特征的限制，首先使用一个 ROIpooling 层将形状、大小各异的特征图池化和归一化处理，转换为固定维度的特征向量；接着使用全连接层对特征图信息进行整合，输出各类的分数与修正参数；再使用 Softmax层将分数进行归一化，进行精准分类，判断蓝莓成熟度。 最后使用效果较好的端到端的联合训练方法，将候选区域生成网络和分类回归网络看作一个整体，对网络进行训练。
图10 Faster R-CNN 算法流程图
（2）蓝莓定位
对蓝莓识别之后，需要确定蓝莓的空间位置才能进行后续的采摘工作，我们利用双目视觉系统进行定位。
本项目基于MATLAB软件，采用张正友标定法原理获得内外部相机参数。内部参数采用矩阵的形式, 而外部参数采用旋转矩阵R和平移向量T形式。标定流程如图4所示。标定完成后，由于位置误差和摄像头本身等原因，需要对图像进行校正，调整两个摄像头拍摄的图像位于同一个平面且图像水平线可以重合，之后采用视差测距法确定蓝莓空间坐标。三维获取坐标流程如图11所示。
图11 三维坐标获取
视差测距法确蓝莓大致位置：首先根据摄像头的成像模型进行目标定位。摄像头成像模型如图6所示。P为蓝莓采摘点（目标点），其中 p 和p' 分别是点 P 在左右视角中的投影点，Ol和 Or分别是左右相机的中心点。设相机左摄像头坐标为 (0,0,0)，则右摄像头为(0,b,0)，摄像头中心距离 b为基线长度，b=x1-x2，为测量b，本项目选用蓝莓左右图像中蓝莓的质心为测量点。根据小孔成像与三角形相似原理，推出比例关系为：
（1）
由此解出：
(2)
根据此公式观察到要求出空间任一坐标P（x,y,z），须获得必须要得出左右视图中与 P 相对应点 P1、P2的位置。在对蓝莓图像进行之前的图像识别工作后，利用 MATLAB 编程来完成对蓝莓图像质心提取的工作。像素质心点得出之后，再利用公式
(3)
将像素质心点坐标转换成像平面坐标。完成转化后，可以通过质心横坐标相减b=x1-x2得到视差，带入公式2即可求得目标在空间中的质心位置。由于本项目采用簸箕式末端执行器进行采摘，只需求出大致的质心位置。最终根据蓝莓植株的大小对质心Z坐标值进行适当变更，即可通过末端执行器操作完成对蓝莓的采摘工作。
图12 摄像机成相模型
5.2.5图像预处理及样本库制作
蓝莓的识别与定位需要研究大量的蓝莓图像。MS COCO、PASCAL VOC、Image Net、CIFAR-10为目标检测算法常用数据集。但是在蓝莓采摘的识别任务中，不需要如此多的类别。因此，重新建立一个蓝莓图像数据集，对神经网络进行训练。
数据一部分来自互联网，使用Python语言开发图片爬虫从互联网上对自然环境下的蓝莓图片进行下载比较图片的MD5值去除重复图片，主要来源为百度图片和谷歌图片，但绝大部分仍采取实地拍摄。样本库制作流程如图13。
图13 样本库制作流程
图像采集与预处理。首先，数据集图像的采集工作在蓝莓采摘园进行，以三脚架承载双目相机，置于果实正向、侧向、下方，取得不同场景、不同光线、不同环境的多种蓝莓原始图像。例如不同成长阶段的蓝莓、存在高光或阴影的蓝莓、重叠蓝莓或被遮挡蓝莓等，使用这些数据训练网络，观察网络表现情况，跟据训练结果，不断添加新的图像样本，以实现对各种复杂情况蓝莓进行识别。同时，为了去除光照、拍摄装备等干扰因素，采用图像灰度化与去噪处理等方式对图像预处理。
数据集标记。然后使用 labelImg 标注工具按 PASCAL VOC 数据集的标注格式对图片进行标注，标注文件自动储存为XML格式。将标注文件放在Annotations文件夹下，文件的名称与图片一一对应。标注文件包括图片名称、位置、尺寸、蓝莓坐标等。
生成样本库。丰富的数据是训练深度神经网络的决定性因素，本项目种的样本数是无法满足神经网络的训练和检验的，过小的数据量会导致神经网络的过拟合，得到比较差的效果。因此使用数据增强技术处理图像，增加数据多样性。本项目使用MATLAB采用旋转、裁剪、平移、添加噪声和色彩抖动（改变亮度、饱和度、对比度）这几种方法进行样本的批量增强处理,样本库划分为训练集、测试集和验证集，各占据图像样本库的 50%、25%、25%。
5.2.6蓝莓分级检测
在建立蓝莓质量检测模型的过程中，由于完好的蓝莓与损伤的蓝莓存在形态特征上的差异，其创面的颜色、质感与其它部位有较为明显的区别。因此，可以利用这种形态特征将损坏的果实与其它正常的果实区分开来，并进一步统计数量。此检测模型基于Tensorflow平台搭建，结合RGB色彩系统与MobileNet网络技术识别统计具有缺陷的蓝莓个数，以单次采摘5个及以下果实损坏为一等品质，5-10个为二等品质，10个及以上为三等品质的标准进行分级。蓝莓质量分级检测模型的具体内容如下：
图14 蓝莓缺陷数量计算示意图
提取疑似缺陷区域。在采摘中受到损伤的蓝莓存在缺陷区域，而在可见光域中，缺陷区域往往与其它正常部分的分光反射率有较大的差异，故可以凭借缺陷处与正常处的颜色差异提取疑似缺陷区域。模型中的这一部分基于RGB色彩系统，在蓝莓表面的R、G、B分时的亮度图中，缺陷区域的亮度值明显低于边缘正常区域，故阈值法难以区分两种不同的区域。考虑使用梯度算法，寻找灰度值突变的区域，并增长至全部的缺陷区域。
用MobileNet模型进行深度分类。受到光线、遮挡、采样角度等复杂因素的影响，使用RGB色彩系统仅能粗略提取出“疑似”的缺陷区域，其准确率较低。故在完成初步提取后，基于Tensorflow平台搭建MobileNet模型，对这些区域进行分类。使用的MobileNet卷积网络主要由输入层、卷积层、池化层、全连接层组成，在预先建立蓝莓特征样本库的基础上，初始化权重，并从头对网络进行高次迭代训练，输出期望结果。在期望结果的基础上，设计循环结构对有缺陷的蓝莓数量进行叠加统计。
5.2.7人机交互界面设计
本项目应用于蓝莓现实中的采摘、分级等工作，其人机交互界面应选择面向企业（To Business）的形式进行设计。面向企业的产品设计应遵循简洁、大方、直观的原则，更有利于提高生产效率。在本项目中，基于MATLAB/GUI这个图形用户开发界面工具，设计了面向企业应用的人机交互界面，旨在提供更便捷、更舒适的体验。首先，明确面向企业的人机交互界面的需求，进行初步设计，绘制草图并确定排版；其次，于MATLAB软件中新建GUI界面，添加合适控件，并再次细化设计页面布局，添加回调函数；最后，在完成排错与设计美化工作后，运行程序，生成GUI界面。
在人机交互的页面布局中，包括蓝莓分级检测结果、单次蓝莓采摘数量、采摘消耗时间等补充结论。通过人机交互界面，可以汇总并输出本项目各个模块出得到的所有结论，将复杂的机器语言转化为通俗易懂的语言文字，实现良好的交互功能。
拟解决问题：
本项目研究中拟解决的问题包括如下几点：
①蓝莓采摘机器人集成了视觉图像处理、机器人运动控制、机械臂控制技术以及计算信息处理等多方面的智能化技术。需要设计出合理的方案，使各部分有机结合起来。
②蓝莓识别与定位算法的选择。需要解决如何实现深度学习算法及蓝莓的立体匹配与定位方法，即如何具体实现基于Faster R-CNN 的果实识别算法及基于双目摄像机标定及结合MATLAB和视差测距法确定蓝莓位置。
③蓝莓果实微小柔软，果皮脆弱，导致蓝莓易损，需设计并调试出适当的末端执行器，并对其进行建模和仿真分析；同时，采摘过程中机械臂易受茎秆遮挡。需合理运用静力学、运动学及动力学分析，规划机械臂最优采摘路径。
④蓝莓分级检测系统的设计，如何在嵌入式移动系统上建立准确的分级检测模型。设计合适的深度学习算法判断蓝莓小浆果的损伤情况，确保准确性率与速度；在人机交互部分，设计符合企业用户需求的人际交互界面，研发具有较高的舒适度、便捷度的产品。
预期成果：
①搭建一个成本低、高效率、高稳定性基于双目定位的蓝莓采摘机械臂控制系统，包括导航算法的实现、蓝莓识别与定位算法的实现及机械臂路径规划算法的实现。
②在硬件基础上搭建蓝莓分级检测系统，设计友好的人机交互界面，可通过PC端以及手机端的程序,对蓝莓质量、采摘耗时等信息进行显示。
③完成中期检查报告和结题报告，撰写论文1-2
