基于残差网络的深度学习香蕉自动分类

摘要

本研究提出了一个基于深度学习的智能水果分级系统的设计。为此，最近建立的基于剩余学习的网络“ResNet-50”旨在将水果，尤其是香蕉，分类为健康类和缺陷类。系统的设计采用了迁移学习的方法，利用了深层结构中存储的知识。为实现深度结构，收集了香蕉数据集。仿真结果表明，所设计的系统在试验(看不见的)香蕉图像上具有良好的泛化能力，准确率高达99%。将所设计的基于剩余学习的系统的仿真结果与其他香蕉分级系统的结果进行了比较。对比结果表明了所设计系统的有效性。开发的系统可以用于食品加工行业，在现实应用中，智能系统的准确性、成本和速度将提高生产速度，并允许满足消费者的需求。该系统可以替代或协助人力操作员发挥他们的精力来选择水果。

1.简介

在食品工业中，加工水果的质量极其重要。满足消费者的需求，在生产线上以非常快的速度生产高质量的水果，需要实施高性能技术[1］．此外，由于对天气条件和劳动力市场的依赖，食品行业是少数几个具有限制条件和约束条件的领域之一[2］．例如，如果由于天气原因没有在最合适的时间收获水果，那么由于恶劣的天气条件和水果的过度成熟，收获的质量和数量可能会下降。多年来，该行业的大多数工艺流程主要由人工操作人员控制。一些微妙的任务，如健康和缺陷产品的采后和分级，都是基于人为的决定。由于睡眠不足和过度工作导致的疲劳，人类操作员有时会暴露在眼睛疲劳的情况下，影响他们的工作表现。水果分拣是一项决策任务，它是根据水果的一些视觉特征，在水果通过传送带时决定水果是健康的还是有缺陷的。因此，这是一个可以用机器学习来完美解决的计算机视觉问题，它可以防止人类操作人员造成的错误[3.］．

近年来，利用计算机视觉和机器学习技术对水果的控制和分级进行了不同的研究工作。最常见的用途是水果的分类及分类[4，5]，鉴定水果的缺陷[6，成熟度检测[7]，以及粮食安全评估[8］．文献[6]声称生产的产品应该有一定的重量、大小、颜色和密度，以满足质量标准。因此，他们提出了一种机器视觉系统，可以控制1-10个输送带，最大性能为每秒15个水果。该系统的目的是利用水果的重量、大小和颜色将水果分类为一系列类别。该系统基于果蔬自动视觉检测，采用机器视觉算法和传感器。开发的系统利用视觉水果的特征实现了颜色处理、重量检测、大小测量和密度检测。作者声称，系统性能是令人满意的，因为它是比较人类标准，没有显著的差异观察。此外，系统的计算时间也减少到15个水果/秒，同时系统控制2条输送带。

近年来，有关测定香蕉大小的研究工作已展开[9，香蕉成熟[10]，以及把健康和不健康的香蕉分类[11］．文献[5，提出了一种香蕉自动分拣系统。该系统基于灰度共生矩阵(GLCM)提取香蕉的纹理特征。采用了三种算法:反向传播神经网络(BPNN)、支持向量机(SVM)和径向基函数网络(RBFN)进行分类。实验结果表明，SVM的分类率最高，达到100%。RBFN和BPNN得分分别为96.25%和98.8%。这些研究的实施，提高了系统的生产质量和生产数量等性能。此外，生产过程已经切换到更快的操作模式。

最近，不同的机器学习算法被用于解决不同的工程和图像处理问题。机器学习，尤其是深度学习技术，已经经历了一个重大的发展，它在不同领域的表现有了显著的提高，如医学[12，13),农业(14]，以及食品工程[15］．人们设计了不同的深度学习结构，以提高它们在解决问题方面的性能。这是AlexNet [168层，VGG [17的18层，和GoogLeNet [18，共22层。从时间上看，上述网络正在变得越来越深入。但是，“深度”结构在网络训练过程中造成了优化困难，即梯度消失。因此，这会影响网络的泛化性能。网络的精度趋于饱和并迅速下降。为了克服这个问题，我们采用了残差学习来训练非常深的网络[19］．利用残差网络来解决不同的工程问题已经进行了一些研究。在文献[20.]，提出将深度残差神经网络(ResNet)和上下界估计相结合的方法用于预测未来流量，构建预测区间。在文献[21]，利用深度神经网络对6种粮食害虫进行识别。为了改善模型的卷积视觉，引入了残差网络。文献[22]提出了一个局部二值残差块，在可训练参数上提升极深残差网络。结果表明，所采用的结构至少减少了69.2%的可训练参数。研究[23]提出了一种用于光学字符识别的深度卷积神经网络，称为密集残差网络。研究[24]提出了多种改进的残差网络，用于医学图像的超分辨率重建。剩余学习或剩余网络(ResNet)通过跳过一些连接和跳过一些层来构建特殊的结构。这些ResNet模型基本上是通过双层或三层跳转来设计的，而不是像在其他深层平面网络(AlexNet)中使用的那样使用连续的层连接。跳过图层可以避免渐变消失的问题。在本研究中，我们使用残差学习来优化网络参数。这项研究设计了一个50层的深度网络，名为ResNet-50，目的是将香蕉水果分为健康和缺陷两类。将迁移学习和剩余学习应用于网络参数的优化和系统的开发。

本研究的结构如下。部分2展示了用于香蕉分级的ReseNet-50。部分3.给出了该网络的数据集和训练过程。部分4提出研究的结果和讨论。部分5给出了结论。

2.剩余的学习

深度网络是一种具有多个隐层的多层神经网络结构。深度网络的学习基本上是分层进行的，从较低层次到较高层次，通过网络的各个层次[25］．基于卷积神经网络(CNNs)的深度学习已经被广泛应用于各个领域，解决不同的工程问题，并在问题求解中表现出了显著的性能[26- - - - - -32］．如前所述，“深度”结构在网络训练时造成优化困难，即梯度消失问题，影响网络的性能。在本研究中，我们提出了剩余学习来克服这个问题，并设计了一个深度学习结构来分级水果。

数字1描述ResNet的残留块。如图所示，在剩余网络中，堆叠层通过创建快捷连接来执行标识映射(x)．它们的输出被添加到堆叠层的剩余函数的输出中F (x)．

在使用反向传播训练深度网络时，计算误差梯度并传播到浅层。在更深的层中，这个误差会变得更小，直到最后消失。这就是深度网络的梯度消失问题。这个问题可以用剩余学习来解决[19，如图所示1而且2．

数字2显示原始剩余分支或单位l残差网络内部。图中描述了权重、批归一化(BN)和修正线性单元(ReLU)。剩余单位的输入和输出计算如下: 在哪里h (x (l))是恒等映射，F是残差函数，x_l输入是，和W_l是权重系数。用户映射可以写成h (x (l))=x(左)．这定义了ResNet架构的基础。

剩余网络是针对不同层数的网络开发的，层数分别为34、50、101和152。本研究使用ResNet-50。该网络由50层组成。在34层的ResNet中，将每个2层的瓶颈块替换为3层的瓶颈块，创建一个50层的ResNet。

3.材料和方法

3.1.数据集

将所提出的ResNet-50深度学习结构应用于香蕉分类。利用包括健康和有缺陷香蕉图像的两个香蕉数据集对模型进行了再训练。请注意，健康意味着香蕉是可食用的，可以作为水果工业的原料，而缺陷意味着它们变质了，不能食用。本研究使用的第一个数据库取自[5］．数据采集阶段经过仔细考虑，使用数码相机捕捉图像，然后转换为可管理的实体。采集的图像尺寸为960 × 720像素;因此，为了适应ResNet-50的输入大小224 × 224像素，我们对它们进行了降采样。该数据集包含300幅图像，其中包括150根健康香蕉和150根缺陷香蕉。第二个数据库也包含300个图像。在这里，健康的香蕉图像从数据集Fruit 360 [32包括不同种类的水果。从这个数据集中只收集了150张健康的香蕉图片。然而，为了使等级分布均匀，我们从网上收集了150张缺陷香蕉的图片。总的来说，一个数据集包括600张图片，其中包括300张健康的和300张有缺陷的香蕉图片。

3.2.数据增加

在网络训练过程中，为了建立更稳健的排序系统，防止过拟合，采用了数据增强的方法。因此，为了能够检测香蕉在不同角度和不同位移下的状态，我们引入了平移和尺度不变性。因此，我们将600张香蕉的原始图像分别进行了0°、90°和180°的旋转。此外，这些图像也被随机平移到两个像素水平和垂直。总共形成了2400幅图像的数据集。注意，一半的图片是健康的香蕉，而另一半是有缺陷的。数字3.显示所形成的数据库的示例。

3.3.ResNet-50的迁移学习

本研究利用Matlab环境对“ResNet-50”模型进行再训练和测试。该网络是在一台Windows 64位桌面计算机上模拟的，该计算机具有Intel Core i7 4770图形处理单元(GPU)和8gb随机访问内存。

利用学习算法对预训练模型(ResNet-50)进行训练和测试。40%的图像用于训练，剩下的60%用于测试和评估网络的性能。需要注意的是，网络的评估是通过以下公式计算其训练和测试精度和损失函数: 正确分类图像的概率表示为P (N)，n是图像的数量，而T表示训练和/或测试阶段的图像总数。

ResNet是一个非常深的网络，当它第一次被使用时，它被用于跳跃连接方法来缓解消失梯度问题。该模型首次在ILSVRC 2015年的比赛中提出，其主要突破是允许超过150层网络的训练。图中显示了ResNet-50的简要架构4．可以看出，该网络由4个阶段(不包括第1阶段)组成，每个阶段都有一个卷积和单位块。每个卷积和单位块由3个大小分别为1 × 1、3 × 3和1 × 1的卷积层组成。阶段1由4个不同的层组成，包括卷积、批处理规范化(BN)、整流线性正则化单元(ReLU)和最大池化(Max Pool)。最后，网络有一个平均池化层，然后是一个全连接层，以及一个softmax激活函数(多项逻辑回归)。这个输出层有两个神经元，用来将香蕉分为健康和缺陷两类。值得一提的是，ResNet-50有超过2300万个可训练参数。因此，在计算时间方面，它是一个很好的结构，采用迁移学习。

本研究采用迁移学习的方法，利用ResNet-50的知识对香蕉进行分类。ResNet-50的迁移学习可以简单地描述为冻结和微调两个阶段。在冻结阶段，将预训练模型的公开权重和学习参数冻结使用。微调首先移除ResNet-50的全连接层(FC)，然后将其重构为三个全连接层，在输出层有两个输出神经元，分别对应健康和缺陷香蕉。我们注意到FC层的权重在训练期间是随机初始的。相反，其余层的权值被冻结，以便作为输入图像的高级抽象的强特征提取器，因为它们已经在来自ImageNet数据集的数百万张图像上训练过[33］．

如前所述，该网络仅使用40%的数据进行训练。随机梯度下降优化方法[34]训练网络，每次迭代的批大小为64张。

为了最小化代价函数，训练时设置全连接层的初始学习率为0.0001，减少因子为0.1。epoch的数量的选择是复杂的，因为它直接与训练期间的若干优化相关。因此，如果epoch的数量很大，网络可能会过拟合，表现很差。因此，为了避免过拟合问题，对验证图像的误差和性能进行监控。研究发现，ResNet-50在第6阶段达到了最高的训练精度和最佳的泛化能力。表格1表明该网络的训练性能相对较好，尽管网络的深度和训练方案(40:60)，但在很短的时间(37秒)和少量的epoch(6)内，其准确率达到100%。

数字5分别表示网络的训练进度曲线和相关的损失函数(误差)。学习曲线显示了训练精度随时间的变化。从曲线可以看出，网络的学习仅在时期1是困难的，但一旦它通过了这个阶段，网络的性能急剧提高，直到在大约时期2达到100。网络达到一个非常小的损失，如图所示5．

4.结果与讨论

为了验证本文提出的基于迁移学习的香蕉分类系统的可行性，我们对数据集中60%的剩余图像进行了实验测试。这些图像是系统之前没有看到过的测试图像，并且这些测试图像的数量大于训练图像。如前所述，学习方案是40:60。如表所示2， ResNet-50的识别率非常高，达到99% (Table2)，根据公式(2)和(3.)．这意味着在测试过程中，健康和缺陷香蕉图像的正确分类率达到了99%，网络在60%的未见香蕉图像上测试得到了较高的泛化能力。

数字6展示了一些用于测试ResNet-50的香蕉图像样本。数字7展示了一些使用ResNet-50错误分类和正确分类的异常香蕉样本。可以看出，分类错误的图片都是缺陷香蕉。所有健康的香蕉都被正确分类了。这个图显示了正确分类有缺陷香蕉的网络结果，而它未能对另一个有缺陷香蕉进行分类(图7(b))。

我们将不同卷积层和池化层的学习特征可视化，以便在更深的层中查看网络学习。数字8展示了学习到的卷积层1的核。可以看出，这些学习的过滤器由梯度和不同层次、方向和边缘的特征组成，这对香蕉分类过程非常有帮助。

该网络学习检测更高层次和更复杂的特征比第一个卷积层检测。数字9显示了显示更深层次卷积层学习到的核的激活。

在每个通道中学习到的特征可能会根据它们的激活强度而改变。在图10，我们显示最强激活通道(图10(b)香蕉图像(图10(a))来自图中相同的卷积层9．注意，这个图像的每个正方形(图10(b))为图中卷积层1通道的激活输出9．尽管如此，与原始图像相比(图10(a))，值得注意的是，该通道在边缘，特别是左右边缘激活。该通道在右侧边缘是积极的，在深色边缘是消极的。

将本文提出的香蕉分级模型与表中其他相关工作进行了比较3.．利用图像处理方法和纹理分析来区分颜色、强度、边缘和形态形状是相关研究的主要内容之一。这些都是手工制作的图像特征提取工程机制，它们耗时且受限于人类的限制。另一方面，深度学习网络在其卷积和池化层中自动执行这一任务，使它们以分层的方式对不同的概念抽象进行强而有效的特征提取。因此，可以看出，我们提出的基于剩余学习的系统，也有助于提高网络的性能，因为它采用了跳过连接的方法，优于表中列出的所有其他模型3.．

注意，在训练模型中使用的数据与在[4，5];然而，我们从不同的数据集添加了更多的图像，因为深度网络比传统网络需要更多的例子来学习。还注意到，该网络的性能优于其他网络，尽管它的学习方案使用较少的训练图像比测试(40:60)。相比之下，所有其他相关的作品使用的训练多于测试示例。这证明了剩余学习(ResNet-50)在香蕉分级任务中的鲁棒性和有效性。

5.结论

该研究提出了一种深度学习结构的设计，用于将香蕉分级为健康或缺陷香蕉。该评分系统采用了剩余学习的方法进行设计。该系统提出了一种新的深度学习方法，称为跳过连接，在不同类型的任务，如分类和对象检测中产生了更好的性能。经过训练和测试，我们得出结论，ResNet-50作为一个非常深入的网络，具有以很小的误差范围准确概括香蕉等级的能力。与其他模型相比，尽管它的学习方案(40:60)使用的训练图像比测试图像更多，但该网络在未见测试数据上测试的准确率更高。这种网络在香蕉图像分级中的鲁棒性和重要性是由于它通过其深度残差块、卷积和池化层学习低层次和高层次特征的能力。这种深度有助于提取难以想象的特征，有助于在训练和测试期间达到更高的识别率。这样一个系统的重要性是其在食品行业的迫切需要，由于大的需求要求在非常快的速度。这种系统应被确定为食品工业领域生产中最高效、最准确、最可靠、最灵活的系统。

数据可用性

支持这项研究结果的数据集可以从链接中下载https://figshare.com/articles/dataset/DeepBanana/14230262．

的利益冲突

作者声明不存在利益冲突。

参考文献

1. J. Trienekens和P. Zuurbier，《食品行业的质量和安全标准、发展和挑战》，国际生产经济学杂志第113卷第1期。1，第107-122页，2008。视图:出版商的网站|谷歌学者
2. C. W. Bac, E. J. van Henten, J. Hemming和Y. Edan，“为高价值作物收获机器人:最先进的审查和未来的挑战，”野外机器人学报第31卷，no。6, pp. 888-911, 2014。视图:出版商的网站|谷歌学者
3. Sa i, Ge z, F. Dayoub等，“DeepFruits:一种基于深度神经网络的水果检测系统，”传感器第16卷，没有。2016年第8期，第1222页。视图:出版商的网站|谷歌学者
4. E. O. Olaniyi, ok . Oyedotun和K. Adnan，“使用神经网络仲裁的香蕉水果智能分级系统，”食品加工工程杂志第40卷，没有。1, p. e12335, 2017。视图:出版商的网站|谷歌学者
5. E. O. Olaniyi, A. A. Adekunle, S. O. Odekuoye Temitope，和A. Khashman，“使用GLCM纹理特征提取和神经网络仲裁的香蕉自动分级系统，”食品加工工程杂志第40卷，没有。6, pp. 1-10, 2017。视图:谷歌学者
6. F. Pla、J. M. Sanchiz和J. S. Sánchez，“用机器视觉实现工业果蔬分拣的整体自动化”，载于2001年ETFA会议记录。第8届新兴技术与工厂自动化国际会议，第2卷，第541-546页，法国昂蒂布，2001年10月。视图:谷歌学者
7. K. Bresilla, G. D. Perulli, A. Boini, B. Morandi, L. C. Grappadelli和L. Manfrini，“用于树内实时水果检测的单次卷积神经网络，”植物科学前沿， 2019年第10期。视图:出版商的网站|谷歌学者
8. R. H. Abiyev, K. Uyar, U. Ilhan, E. Imanov, E. Abiyeva，“基于z -数的模糊系统的食品安全风险水平估计”，食品质量杂志， vol. 2018，文章ID 2760907, 9页，2018。视图:出版商的网站|谷歌学者
9. M.-H。胡,Q.-L。董，P. K.马拉卡尔，b.l。Liu和G. K. Jaganathan，“基于计算机视觉确定香蕉的大小，”国际食品特性杂志第18卷第1期。3, pp. 508-520, 2015。视图:出版商的网站|谷歌学者
10. M. Paulraj, C. R. Hema, K. Pranesh, S. Sofiah和M. Radzi，“颜色识别算法使用神经网络模型来确定香蕉的成熟度。人机系统国际会议论文集，第2871-2874页，Batu Feringhi，槟城，马来西亚，2009年。视图:谷歌学者
11. M. S. Mansoory, H. Fardad, R. Enteshari和Y. S. Mansouri，“基于特征提取和神经网络聚类方法从不健康的香蕉中分离出健康的香蕉，”现代应用科学第4卷，没有。11, pp. 51-60, 2010。视图:出版商的网站|谷歌学者
12. R. H. Abiyev和A. Helwan，“利用图像的形状和纹理特征识别乳腺癌的模糊神经网络，”医学影像与健康信息学杂志第8卷，没有。4, pp. 817-825, 2018。视图:出版商的网站|谷歌学者
13. 仙众，王旭，闫思，杨东，陈建军，彭晨，“深度学习在智能医疗中的主要冠状动脉分割，”工程中的数学问题， vol. 2020，文章ID 8858344,9页，2020。视图:出版商的网站|谷歌学者
14. P. C. Marchal, D. M. Gila, J. G. García, J. G. Ortega，“基于计算机视觉估计橄榄油样品中杂质含量的专家系统，”食品工程杂志第119卷第1期。2, pp. 220-228, 2013。视图:谷歌学者
15. G. K. Jaganathan，“野火是打破地中海盆地物理休眠的适应性生态线索吗?”种子科学研究第25卷第1期。2, pp. 120-126, 2015。视图:出版商的网站|谷歌学者
16. A. Krizhevsky, I. Sutskever和G. E. Hinton，“用深度卷积神经网络进行Imagenet分类，”神经信息处理系统研究进展， vol. 25, pp. 1097-1105, 2012。视图:谷歌学者
17. 刘志强，刘志强，刘志强，“一种基于卷积神经网络的大尺度图像识别方法”，2014,ei: 113914989 [csv . cv]。视图:谷歌学者
18. 刘伟，贾赟等，“基于卷积的深入研究”，2015,arXiv:1409.4842 [cs.CV]。视图:谷歌学者
19. 何凯，张旭，任松，孙杰，“深度残差网络中的身份映射”，载欧洲计算机视觉会议论文集， 630-645页，荷兰阿姆斯特丹，2016年10月。视图:谷歌学者
20. 闫磊，冯杰，韩涛，朱勇，“基于深度残差网络和上、下边界估计方法的流动区间预测”应用软计算杂志，第104卷，2021年。视图:谷歌学者
21. 张勇，钟伟，潘华，“基于改进残差网络的储粮害虫识别”，农业计算机与电子，第182期，2021年。视图:出版商的网站|谷歌学者
22. 齐晨，张杰，贾慧，毛倩，王磊，宋慧，“基于残差图卷积网络的深度人脸聚类，”以知识为基础的系统，第211卷，106561页，2021年。视图:出版商的网站|谷歌学者
23. 张震，唐震，王勇等，“密集残差网络:增强全局密集特征流的字符识别”，神经网络，第139卷，第77-85页，2021年。视图:出版商的网站|谷歌学者
24. 邱丹，郑丽，朱军，黄丹，“用于医学图像超分辨率的多重改进残差网络”，下一代计算机系统，第116卷，200 - 208,2021年。视图:出版商的网站|谷歌学者
25. Y. LeCun, Y. Bengio，和G. Hinton，“深度学习”自然第521卷第1期。7553, pp. 436-444, 2015。视图:出版商的网站|谷歌学者
26. O. K. Oyedotun和A. Khashman，“基于视觉的静态手势识别中的深度学习，”神经计算及应用第28卷，没有。12, pp. 3941-3951, 2017。视图:出版商的网站|谷歌学者
27. R. H. Abiyev和M. K. S. Ma 'aitah，“用于胸部疾病检测的深度卷积神经网络，”医疗工程杂志， vol. 2018，文章ID 4168538, 11页，2018。视图:出版商的网站|谷歌学者
28. A. Helwan, G. El-Fakhri, H. Sasani，和D. Uzun Ozsahin，“识别CT脑出血的深度网络，”智能与模糊系统学报， 2018年第1页，预印本。视图:谷歌学者
29. J. B. Idoko, R. Abiyev和M. Arslan，“机器学习技术对手势识别的影响，”智能与模糊系统学报第37卷，no。3, pp. 4241-4252, 2019。视图:出版商的网站|谷歌学者
30. R. H. Abiyev和M. Arslan，“残疾人头部鼠标控制系统，”专家系统，第37卷，2020年。视图:出版商的网站|谷歌学者
31. R. H. Abiyev, J. B. Idoko和M. Arslan，“使用深度卷积神经网络的手语翻译，”国际互联网与信息系统汇刊第14卷第1期。2、2020。视图:出版商的网站|谷歌学者
32. H. Mureşan和M. Oltean，“利用深度学习从图像中识别水果，”智慧大学学报，信息学第10卷，no。1, pp. 26-42, 2018。视图:谷歌学者
33. O. Russakovsky, J. Deng, H. Su等，“Imagenet大尺度视觉识别挑战，”国际计算机视觉杂志第115卷，no。3, pp. 211-252, 2015。视图:出版商的网站|谷歌学者
34. R. G. Wijnhoven和P. H. N. de With，“使用随机梯度下降快速训练目标检测”，在第20届模式识别国际会议论文集，第424-427页，土耳其伊斯坦布尔，2010年8月。视图:谷歌学者

betway赞助

betway赞助版权所有©2021 Abdulkader Helwan等人。这是一篇开放获取的文章，在知识共享署名许可，允许不受限制地在任何媒介上使用、分发和复制，前提是正确引用原作品。