针对果园中不便于机械化除草的情况，研制一种可以自动并精准识别杂草和植株苗的模型，在保证识别精度的前提下有效提升检测速度，减少识别耗时，大幅降低模型占用空间，提高除草作业效率，从而进一步地提高植株的产率。

     基于机器视觉的苗草识别一直是精准农业研究领域的热点问题，最近的研究表明，深度学习方法明显优于依赖手工设计提取特征的传统机器学习方法。本项目作为结合智能化装备进行智能化除草的前期研究，将深度学习与计算机视觉相结合，将深度学习技术与计算机视觉技术相结合，完成了玉米幼苗和杂草的目标识别，并将构建好的模型运用到Jeston Nano小车上，进行验证与测试。本项目的主要研究内容如下：

（1）研究了玉米与杂草的目标提取方法。将经过了图像采集、图像预处理后的玉米和杂草的图像，使用图像可视化标注工具 Labelling 进行人工标注玉米和杂草标签，以目标的最小外接矩形进行标注，通过这样的方法来进行玉米与杂草的目标提取。

（2）研究了识别模型的训练与优化。根据玉米与杂草之间的特征差异，将玉米与杂草的图像导入识别模型系统，对不同的识别模型进行训练，选择出一种较为合适的模型，对其进行不断的训练与优化。

（3）研究了模型在Jeston Nano智能小车上的识别功能情况。将上述选择出的合适的模型运用到Jeston Nano智能小车上，在小车运行时，检测模型运作过程中识别功能的准确性与实时性。在保证识别精度的前提下，研究如何有效提升检测速度，大幅降低模型占用空间，为机器学习在硬件资源有限的嵌入式设备上应用提供理论依据和方法参考。

1）研究背景

   一直以来，杂草都是作物生长的大敌，杂草与作物之间争夺阳光、养分和水分，直接导致了农作物的减产和品质的下降，从而影响农民的收益。而现有的人工除草、化学除草和机械除草，因为效率不高、污染环境、粮食安全性不高和智能化不足等问题，存在着或多或少的困难。

  随着计算机技术和农业机械化的发展，我国对农业设备的智能化要求也越来越高。杂草作为作物生长的最广泛性的有碍植物，需要一款能够精准识别农作物和杂草的智能除草机器人清除作物周边的杂草。但现有阶段，传统机器学习方法已经不再能满足机器人实时性和准确性的要求，同时，林地智能机器人作为精确果园应用的一个重要内容，为了使其能够精准识别并定位作物与杂草，也需引入深度学习^[1]和计算机视觉相关技术。

  然而，在实际研究工作中，林地除草机器人所处的环境复杂多变，农作物和杂草在视觉图像中容易产生遮挡问题，会阻碍和影响林地除草机器人对农作物与杂草的识别和定位，很大程度上增加了杂草漏除的概率以及除草机器人对农作物产生伤害的可能性。因此，在识别农作物和杂草的基础上提出一种用于精准识别并定位植株幼苗与杂草的方法具有十分重要的现实和研究意义。

2)国外的研究现状及发展动态

2016年，Potena等研究学者提出并设计了一种农业机器人感知系统，该系统通过输入RGB+近红外图像来执行杂草的检测及分类任务^[2]。其中为了提取代表绿色植被的3D投影像素点，选择轻量级的CNN对RGB图像进行像素分析。然后通过更深的CNN提取农作物和杂草像素完成分类分析。

2017年，Andrea等研究学者针对苗期玉米与杂草的实时识别问题，提出使用卷积神经网络来解决此问题的想法^[3]。首先对杂草图像进行分割处理，然后利用分割后的数据集对卷积神经网络进行训练，最后将训练好的网络模型用于玉米与杂草的识别，其在训练上的识别精度高达97.23%，具有良好的性能。

2017年，Alessandro等研究学者针对大豆田的杂草识别问题，运用无人机捕获了大量的豆苗与杂草的图像，并采用Caffe框架实现ConvNets模型的搭建与训练^[4]。试验结果表明相比SVN，AdaBoost和随机森林算法，卷积神经网络识别准确率高达98%以上，明显优于传统分类算法，且应对复杂的田间环境时具有良好的抗干扰能力。

通过研究国外现有的杂草识别和分类技术，发现大都针对实验室环境下的杂草数据进行识别，难以对复杂农田环境下的杂草图像进行快速且准确的识别。且由于神经网络模型的参数量大，训练周期长，为保障识别分类准确率往往需要庞大的标注数据，当标注数据较少或缺失时，则容易出现过拟合导致模型准确率低。

3）国内的研究现状及发展动态

2018年，姜红花等研究学者利用预训练的卷积神经网络，在全连接层之后增加二进制的哈希层，通过比较全连接层特征码和哈希码，找出与其最相似的若干幅图像的标签，归入频率最高的一类，以此进行分类^[5]。试验结果表明该算法在田间识别杂草的精度较高，且在其他杂草数据集上也有较好的识别效果。

2018年，王璨等研究学者依托于深度学习结构，提出一种多尺寸分层特征的玉米杂草识别方法，该方法从图像中提取多尺寸分层特征作为识别基础，并结合超像素识别分割算法对杂草或玉米进行识别^[6]。试验结果表明，该算法具有较高的识别准确率，且实时性较好，能为智能化机械除草提供有益的参考。

2019年，王鹏飞等研究学者结合了深度卷积网络强大的特征提取能力和哈希编码易储存及检索快的特点，提出了一种基于Mask R-CNN 和二进制哈希编码的杂草分割识别网络^[7]。通过在玉米田间进行实地测试以验证网络的性能，实验结果表明该方法平均识别率可达92%，能满足田间实际除草的需求。

上述研究为深度卷积神经网络应用于杂草识别提供了可行性依据，弥补了传统机器视觉识别方法中特征提取的不足。但上述研究对象大多数为实验环境下的杂草图像，难以对复杂农田环境下的杂草进行快速准确的识别。

参考文献：

[1] OjYng wang,Xinbin Luo,Lu Ding,et al.Object tracking via dense SIFT features low-rank representation[J]Computer research and Development.2019,23(20):10173-10186.

[2] Potena C, Nardi D, Pretto A. Fast and Accurate Crop and Weed Identification with Summarized Train Sets for Precision Agriculture[C]//International Conference on Intelligent Autonomous Systems. Springer, Cham,2016.

[3]Andrea C C, Daniel B B M, Misael J B J. Precise weed and maize classification through convolutional neuronal networks[C]//IEEE Second Ecuador Technical Chapters Meeting.IEEE,2017.

[4]Alessandro D, Freitas D M, Gercina G, et al. Weed detection in soybean crops using ConvNets[J]. Computers & Electronics in Agriculture, 2017,143:314-324.

[5]姜红花,王鹏飞,张昭等.基于卷积网络和哈希码的玉米田间杂草快速识别方法[J].农业机械报,2018,49(11):30-38.

[6]王璨,武新慧,李志伟.基于卷积神经网络提取多尺度分层特征识别玉米杂草[J].农业工程学报,2018,34(05):144-151.

[7]王鹏飞. 基于深度学习的玉米田间杂草识别技术及应用[D].山东农业大学,2019.

  在不同时段，不同天气状况下对杂草和植株苗进行图像采集。保证数据更加符合实际情况，提高了模型在各种光照、温度等条件下的识别率，模型的适用度得到加强。

1）技术路线 

  首先采集自然环境下不同播种时间、不同光线下的树苗图像，对图像进行数据增强、特征增强预处理、标注等一系列处理，而后查询相关文献选取二到三个合适的模型。通过深度学习中的目标检测模型识别树苗，采用图像处理技术对树苗目标之外的像素进行分割以识别杂草，对识别效果与数据进行评价分析，找出最优方案，然后在智能小车Jetson Nano 嵌入式平台上检测训练，成功后尝试导入其它种类树苗图像，建立树苗样本数据库训练神经网络模型，在小车上进行测试，不断重复这一环节，最后得出较为全面的最终模型。

2)拟解决的问题

  通过试验找出精度最高的模型，建立树苗样本数据库训练神经网络模型，利用训练完成的神经网络模型对树苗进行识别，利用图像处理技术对目标图像进行分割，得到只包含杂草目标的图像。

3）预期成果

训练出一个能准确识别杂草和植株苗的模型，为后面研制除草机提供基础。在项目研究的过程中，发表文章。

   主要对卷积神经网络和深度学习技术进行学习；熟练掌握和使用相关仿真和建模软件。

2022年4月-5月：学习卷积神经网络有关知识。

2022年5月-6月：学习深度学习技术有关知识，图像识别以及图像增强技术及应用重点掌握。

2022年7月-9月：学习并熟练掌握可视化标注工具Labelling,尝试建立模型。

2022年10月-1月：将所采集到的杂草以及植株在模型上进行学习，并且在Jetson Nano测试平台上进行测试，观察测试效果，通过记录数据分析模型是否实际上达到目的，对模型进行进一步改进。

2023年2月-3月：整理归纳相关资料，确定一份完整可行的杂草识别设计，撰写研究报告，准备结题。