深度神经学习自适应序列蒙特卡罗自动图像和语音识别

摘要

为了提高图像分类和语音识别的性能，优化器被认为是实现高精度的重要因素。最先进的优化器可以执行在可能不需要非常高精度的应用中，但对高精度图像分类和语音识别的需求增加。该研究实现了一种自适应方法，用于利用梯度下降优化器应用粒子滤波器技术，以改善模型学习性能。使用佩带的模型有助于减少计算时间以部署图像分类模型，并使用简单的深度卷积神经网络进行语音识别。所应用的方法导致测试数据集的较高语音识别精度得分-89.693％，而不是传统方法，达到89.325％。应用方法在图像分类任务上也表现良好，在测试数据集上达到89.860％的精度，比传统方法更好，精度为89.644％。尽管精度略有差异，所应用的优化器在整个数据集中执行良好。

1.介绍

由于其在建模和优化的有用性，若干应用程序可提供软计算。许多研究专注于图像和视频处理，其中目标是检测和跟踪。已经提出了各种模型，包括神经网络，深度学习，模糊逻辑和混合方法[1］.但是，它们在应用中的实际应用仍然存在问题，因为许多应用需要比可用型号更高的精度可以提供。结合两个或更多软计算技术的混合方法通常可以提高图像和视频检索过程的效率[2］.在图像上下文中，为WiMAX网络的3D地理信息系统（GIS）数据计划被集成以优化网络性能和投资成本，这两者都与所需数量的基站和部门相关[3.］.此外，软计算在GIS研究中起着重要作用[4.-7.］.实现软计算的一个重要方面是数据集的质量。软计算还可以用来生成有意义的、人类可解释的大数据集，方法是定义数字空间和分类空间之间的接口，即数据定义和人类推理的语言空间[8.］.此外，应用于调查软计算方法的数据集应使用旨在验证各种方法的基准数据集[1］.给出了一个应用软计算进行决策的例子[9.];这是一种名为神经线解析网络过程的新方法。呈现的方法基于模糊逻辑和人工神经网络的作用。提出了用于隧道优化的软计算的另一实施[10.］.该模型分析了目标掘进响应与输入参数(包括几何和地质因素)的影响之间的关系。拟议的实施方案有助于在采矿业实现稳健和低成本的软计算解决方案[11.］.软计算可应用于环境管理，以每小时流量、重型车辆百分比、车辆平均速度等数据作为神经网络或随机森林的输入，预测车辆交通噪音[12.］.六种方法用于建模土壤水容量参数，这些参数在有针对性地区的环境管理中非常重要[13.］.在航空工业中，采用多层的感知程序神经网络来诊断航空航天结构缺陷：经典方法使用信号处理和数据解释[14.］.软计算也已应用于飞机的路径分类[15.］.软化计算也可以应用于估计航天器的位置和方向，这对于空间技术开发有用[16.］.

图像分类和语音识别是一个非常有需求的研究课题，因为它们可以应用于不同的应用领域[17.］.图像分类方法的一个示例是基于图的多个秩回归模型[18.[哪些研究人员呈现了一种方法，该方法可以减少当图像被变换成适于图像分类过程的向量时发生的矩阵数据相关的损失。一个集成的经常性神经网络和卷积神经网络（CNN），命名为多径X-D.递归神经网络(MxDRNN)已被提出用于图像分类[19.］.此外，半监督深度神经网络实现了鲁棒损失函数，提高了图像分类性能[20.[和高光谱图像分类已广泛应用于许多地球观察任务，包括物体检测，对象识别和监视。一种基于不同缩放的两流卷积网络和空间增强的新的联合空间光谱高光谱图像分类方法实现了改进的分类性能[21.］.非常高分辨率图像（VHRI）的图像分类是另一个具有挑战性的任务，因为图像中捕获的丰富细节。许多研究专注于基于对象的卷积神经网络（OCNN），并提出了各种创新，例如将多级上下文引导的分类方法与OCNN集成以实现更高的VHRI分类精度[22.］.图像分类技术也应用于通过组织病理学成像的乳腺癌筛选等医学应用[23.］.此外，语音识别研究对于母语任务是有用的，例如对阿尔及利亚方言的深度神经网络的实现[24.]以及在弗里斯兰语之间进行语码转换[25.］.其他语音识别研究专注于识别与年龄和性别的演讲中的情绪使用等级模型[26.］.本文提出了一种基于特定时间和频率特征编码的基于cnn的语音识别新方法[27.］.使用指数量子粒子滤波器和平均换档优化的可视对象跟踪已作为对象跟踪的另一个挑战呈现[28.］.

应用的方法采用粒子滤波技术，一种状态估计技术，以优化梯度下降优化器。状态估计常用于导航和制导应用，有时也应用于其他优化方法。例如，对于实时流量估计，状态估计采用了扩展卡尔曼滤波，而不是对历史数据使用高斯过程回归模型[29.］.还实施了粒子滤波器以调整各种参数以改善图像分类[30.-32.]对于一些应用程序，例如裂缝传播滤波[33.］.梯度下降算法主要用于优化目标[34.］.例如，它用于实施用于飞机的变形翼尖的演示，以减少低速拖动[35.］.热电厂使用状态估计以优化各种参数[36.］.本文提出的自适应技术结合了粒子滤波器和梯度下降优化器来调整和提高图像分类和语音识别任务的性能，并使用PlanesNet [37.和TensorFlow语音识别挑战[38.)数据集。

2。材料和方法

2.1。材料

2.1.1。Planesnet数据集

未来的机场设计应提供改进的乘客便利性，例如减少飞机延迟或要求较少的入住时间。空中交通管理，作为航空业的骨干，是一个领先机场的一个因素，成为更智能的17.］.飞机检测是跟踪，定位和预测飞机位置的基本任务。Planesnet是一种中分辨率，标记的遥感图像数据集，可以作为培训机器学习算法的培训数据[37.］.数据集由标记为“平面”或“无平面”的20×20 RGB图像组成，如图所示1和2， 分别。“平面”图像主要由飞机的翅膀，尾部和鼻子组成。标记为“无平面”的图像可以包括陆地覆盖特征，例如水，植被，裸露的地球或建筑物，并且不显示飞机的任何部分。一些示例图像数据如下图所示。

2.1.2。语音命令数据集

本研究中采用的另一个数据集用于测试应用方法是单个单词语音识别的公共数据集，其最初编译用于TensorFlow语音识别挑战[38.］.数据集由音频文件组成，其中单个扬声器说一个单词。目标是预测测试数据集中的音频文件，这些文件被分为12个类别:“沉默”、“未知”、“是”、“否”、“上”、“下”、“左”、“右”、“开”、“关”、“停”和“走”。需要注意的是，应用的方法是基于CNN的，它通常应用于二维空间问题。相反，音频本质上是跨时间的一维连续信号。该数据集经过预先处理，通过定义一个合适的时间窗口来匹配口语单词;然后，通过将传入的音频样本分组为几毫秒长的短片段，并计算一组频带的频率强度，将捕获的音频信号转换为图像。每一段的频率强度集被视为一个数字向量，这些向量按时间顺序排列，形成一个二维数组。这一组值可以被处理，如称为声谱图的单通道图像。

2.2。方法

应用的方法是基于粒子滤波和小批量梯度下降优化过程的组合实现的，如式(1)，目标是为目标数据集获得合适的优化器: 在哪里的重量,是学习率，和是代价函数的梯度吗与重量变化有关。随机梯度下降算法(SGD)对每个训练实例进行处理后进行参数更新和标签 那这意味着批量大小是1。小批梯度下降的代价函数是小批数据的平均值，小批数据的大小通常在50到256之间，但可以根据应用程序而变化。

应用方法使用产生的颗粒过程与来自小靶梯度下降优化器的变量组合使用。因此，应用的优化器通过使用计算的变量而不是来自小靶级梯度下降优化器的传统变量来执行更新。可以表示应用的方法如下式所示： 在哪里是由粒子滤波过程得到的调整值。乘以深度学习速率，然后加入到式中常规的小批量梯度下降优化器的第二方程项(1）。数字3.说明了粒子滤波器的工作过程。它基于前一阶段的历史信息工作。PF的工作方式是迭代地生成一个粒子，将其传播到下一个时间步骤 那然后执行更新以获得准确的时间步骤值。应用方法的工作流程获取值在图中描绘4.．

图中所示的应用方法4.描述如下[32.]：（1）初始化: 那生成粒子，并设置它们的权重为（2）为了 （一种）输入粒子集通过使用由粒子确定的系统模型方程，该方程从高斯过程中的值与零平均值，差异等于深度学习率（b）预测观察值通过使用测量值根据之前迭代的平均值分配（C）基于观察向量更新粒子重量经过或者设定为1.计算重量的观察模型 ．（d）根据标准化重量 ．颗粒的排斥或保留取决于重量和多项式重采样，由重采样算法决定。

3。结果与讨论

3.1。图像分类结果

该实验使用了Inception_v3模型，这是一种用于图像分类应用的预磨模模型。部署在本实验中的PlanesNet数据集共18,085张图像分为两类（7,995“平面”图像和10,090“无平面”图像）。数据分为具有14,377张图像的训练集和具有3,708个图像的测试集。训练批量尺寸设定为100，倾斜速率为0.001，深度学习计算需要10,000时代。

将应用方法的结果与传统梯度下降优化器的结果进行比较。应用方法显示三种情况（具有不同数量的粒子和颗粒滤液迭代在括号中）。应用方法的应用方法和梯度下降优化器的图像分类的结果1通过每次迭代的平均交叉熵(0.3193)和最终测试精度(89.860%)，表明使用所应用的方法(180,300)的迭代取得了最好的性能。应用的方法(50,50)在每次迭代后计算的平均精度(87.4291%)方面表现最好。

每个深度学习迭代后的准确性和交叉熵显示在图中5.．图中并没有清楚地表达不同的模型效率，因为性能只有轻微的提高，如表所示1．但是，既准确性和交叉熵（数字）5（a）和5（b）分别存在相应趋势的应用方法和传统方法的值。

所有情况下的混淆矩阵如图所示6.，可见所应用的180个粒子和300个粒子滤波迭代的方法对“无平面”类别的预测结果最好，而对“平面”类别的预测结果较差。图中其他三个的混淆矩阵的结果6（a）那6（b）， 和6（d）在“平面”或“无平面”类别中没有显示出大的差异。这些结果意味着粒子数量和粒子过滤器中的迭代次数的差异影响了应用方法的整体性能。因此，每个应用程序应根据用户需求和可接受的模型精度选择最合适的模型。

3.2。语音识别结果

在这个实验中使用了一个简单的深度CNN来生成音频文件的模型。模型训练25000个纪元，批大小为100，学习率为0.001。音频文件包括105,829个单独的文件:训练数据集中的100,939个，测试数据集中的4,890个。与图像分类实验类似，该实验将应用方法在不同粒子数和粒子滤波迭代下的结果与传统的小批量梯度下降优化算法的结果进行了比较。

结果显示在表中2这表明应用方法（50,50）与其他模型相比实现了卓越的性能，并获得了最佳平均准确性（77.8163％），平均跨熵（0.6772）和最终测试精度（89.693％）。传统的小纤维梯度下降优化器是第二个最佳状态。从这些结果来看，我们可以得出结论，配置有适当数量的粒子和粒子过滤器迭代的应用方法可以实现比传统方法更好的性能。每次迭代后的准确性和交叉熵结果在图中示出7.，这并没有透露明显的总体差异;因此，表格中列出了改进2．混乱矩阵呈现在图中8.．所应用的方法（50,50）在“否”，“右”和“OFF”类上显示了卓越的性能。然而，传统方法在“是”，“下”和“GO”类上实现了最佳性能。另外两个版本的应用方法在“未知”类上实现了良好的性能。最后，应用方法（150,100）实现了“左”和“ON”类上的最佳结果。

语音识别实验的总结果表明，在精度和交叉熵的方面，应用方法比传统方法更好。但是，在为给定应用程序选择最合适的模型之前，应详细考虑混淆矩阵结果。

使用图像分类和语音识别的应用方法的整体性能提供了更好的准确性。然而，用于图像分类和语音识别的混淆矩阵示出了一些仍然存在挑战性的故障情况，以便进一步研究。这对于一些需要高精度的图像分类的应用是一个非常重要的考虑因素，例如在医疗保健行业或高精度的语音识别中，例如在救援过程中。因此，基于状态估计和众所周知的优化器的该实验中的应用方法有助于略微提高两种应用的性能。为了在实际应用中应用这种方法，需要更多考虑使用混淆矩阵的可接受案例和故障情况以达到最佳性能。

4。结论

本研究的目的是使用粒子滤波技术来优化梯度下降优化器中的变量。将该方法应用于两种不同类型的公共数据集:用于图像分类的PlanesNet数据集和用于语音识别的Speech Commands数据集，验证了该方法的有效性。此外，在这两个数据集上测试了所采用的三种不同粒子数和不同迭代数的方法的变化:三个模型变量分别使用50个粒子和50个粒子滤波迭代，150个粒子和100个粒子滤波迭代，180个粒子和300个粒子滤波迭代。结果表明，与传统方法相比，该方法在两个数据集上都取得了优异的性能，获得了更高的精度和更低的交叉熵。实验还表明，粒子滤波过程中使用的粒子数量和迭代次数会影响模型的整体性能。因此，为了建立高精度的模型，需要根据每个应用情况，选择合适的粒子滤波过程参数值。混淆矩阵可以作为辅助工具，为给定的应用程序选择最合适的模型。

数据可用性

用于支持该研究的数据在PlanesNet数据集和语音命令数据集中可用。

的利益冲突

作者声明他们没有利益冲突。

致谢

作者感谢蒙库特国王的拉德克拉邦理工学院国际航空工业学院的工作人员对本文的贡献。这项研究由学术大熔炉(Academic Melting Pot)、KMITL研究基金(KMITL research Fund)资助，孟库特国王理工学院(King Mongkut’s Institute of Technology Ladkrabang)，曼谷10520，泰国。

参考文献

1. M. Kaushal, B. S. Khehra，和A. Sharma，“基于软计算的目标检测和跟踪方法:最先进的调查，”应用软计算，第70卷，第423-464页，2018。查看在：出版商网站|谷歌学者
2. H. Bhaumik, S. Bhattacharyya, M. D. Nath，和S. Chakraborty，“基于内容的视频检索的混合软计算方法:简要回顾，”应用软计算，第46卷，第1008-1029页，2016。查看在：出版商网站|谷歌学者
3. L. H. SON和P. H. Thong，“3D地理信息系统WiMAX网络规划软计算方法”，中国计算机与系统科学学报，卷。83，没有。1，pp。159-179,2017。查看在：出版商网站|谷歌学者
4. A. U.伊斯兰，M.J.Khan，K.Khurshid和F. Shafait，“使用深度学习的作家识别的高光谱图像分析”国际数字图像计算会议的诉讼程序：技术与应用（DICTA），pp.1-7，IEEE，珀斯，澳大利亚，2019年12月。查看在：出版商网站|谷歌学者
5. M. J. Khan, H. S. Khan, a . Yousaf, K. Khurshid, a . Abbas，《高光谱图像分析的现代趋势:综述》，IEEE访问，卷。6，PP。14118-14129,2018。查看在：出版商网站|谷歌学者
6. M. J.Khan，K.Khurshid和F. Shafait，“Shafio-Spectral混合卷积架构，用于高光谱文件认证，”“文件分析与认可国际会议”的诉讼程序（ICDAR），pp.1097-1102，IEEE，悉尼，澳大利亚，2019年9月。查看在：出版商网站|谷歌学者
7. M. J.Khan，A. Yousaf，K.Khurshid，A. Abbas和F. Shafait，“使用模糊聚类的多光谱文件图像自动伪造检测”第十三届国际文献分析系统研讨会论文集，pp.393-398，IEEE，维也纳，奥地利，2018年4月。查看在：谷歌学者
8. G. Smits, O. Pivert, R. R. Yager和P. Nerzic，“大数据总结的软计算方法”，模糊套装和系统，卷。348，pp。4-20,2018。查看在：出版商网站|谷歌学者
9. D. A. Carrera, R. V. Mayorga，和W. Peng，“群体决策的软计算方法:供应链管理应用”，应用软计算，卷。91，物品ID 106201,2020。查看在：出版商网站|谷歌学者
10. S. Isam和Z.文刚，软化技术对隧道镗床隧道优化的使用，地下空间，上鞍河，NJ，美国，2020。
11. C. K. Arthur, V. a . Temeng和Y. Y. Ziggah，“基于软计算的技术作为估计爆破引起的地面振动的预测工具，”可持续采矿学报，卷。18，不。4，pp。287-296,2019。查看在：出版商网站|谷歌学者
12. D. Singh，S.P. Nigam，V.P.Agrawal和M. Kumar，“使用软计算方法的车辆交通噪声预测”环境管理杂志，卷。183，pp。59-66,2016。查看在：出版商网站|谷歌学者
13. J. Shiri, A. Keshavarzi, O. Kisi, and S. Karimi，“使用容易测量的土壤参数估算土壤水分容量:软计算方法”，农业计算机和电子产品，卷。141，pp。327-339,2017。查看在：出版商网站|谷歌学者
14. G. D'Angelo和S. Rampone，“Feats提取和软计算方法，用于航空航天结构缺陷分类，”测量，第85卷，第192-209页，2016。查看在：出版商网站|谷歌学者
15. P. Kamsing，P. Torteeka，S. Yooyen等，“飞机轨迹识别通过苏万那比乌国际机场的统计分析聚类，”第22届高级通信技术国际会议（ACAC）会议，PP。290-297，IEEE，凤凰公园，大韩民国，2月20日2020年。查看在：出版商网站|谷歌学者
16. T. Phisannupawong, P. Kamsing, P. Tortceka, S. Yooyen，“通过深度学习算法进行航天器对接操作的基于视觉的姿态估计”，在第22届高级通信技术会议（ACACT）的程序， pp. 280-284, IEEE，凤凰公园，韩国，2020年2月。查看在：出版商网站|谷歌学者
17. P. Kamsing，P. Torteeka和S. Yooyen，通过利用不同优化器的转移学习，“卫星图像上的平面卷积神经网络”IGARSS 2019 - 2019 IEEE国际地球科学和遥感研讨会论文集，pp.9788-9791，IEEE，横滨，日本，2019年8月。查看在：出版商网站|谷歌学者
18. H.元，J.Li，L.L.L.Lai，以及Y. Y.唐，“基于图的图像分类的多重排名回归”，Neurocomputing，卷。315，PP。394-404,2018。查看在：出版商网站|谷歌学者
19. Gao R.， et al.，“Multi-path x-D递归神经网络在图像分类中的应用”，Neurocomputing，卷。397，pp。48-59,2020。查看在：出版商网站|谷歌学者
20. H. Cevikalp，B. Benligiray和O. N.Gerek，“半监督强大的多标签图像分类的强大神经网络”，模式识别，第100卷，第107164条，2020年。查看在：出版商网站|谷歌学者
21. M. Han，R.Cong，X.Li，H.Fu，J. Lei，基于卷积神经网络的联合空间光谱极高光谱图像分类，“模式识别的字母，卷。130，pp。38-45,2020。查看在：出版商网站|谷歌学者
22. C. Zhang，P. Yue，D. Tapete，B.上官，M. Wang和Z.Wu，使用非常高分辨率的陆地覆盖分类对对象的卷积神经网络的多层次背景分类方法遥感图像，“国际应用地球观测和地理信息杂志，卷。88，物品ID 102086,2020。查看在：出版商网站|谷歌学者
23. R. Yan，F. Ren，Z.Wang等人，“使用混合深神经网络的乳腺癌组织病理学图像分类”方法，第173卷，第52-60页，2020。查看在：出版商网站|谷歌学者
24. M.A.MELI，D.FOHR，D. Jouvet，D. Langlois和K.Maïli，“阿拉伯语洛里亚自动语音识别系统（Alasr）的发展及其对阿尔及利亚方言的评估”Procedia计算机科学， vol. 117, pp. 81-88, 2017。查看在：出版商网站|谷歌学者
25. E. Yılmaz, H. van den Heuvel和D. van Leeuwen，“研究双语深度神经网络用于自动识别语码转换的弗里斯兰语”，Procedia计算机科学，第81卷，第159-166页，2016。查看在：出版商网站|谷歌学者
26. R. Flynn和E. Jones，“噪声和丢包条件下的鲁棒分布式语音识别”，数字信号处理，卷。20，没有。6，PP。1559-1571，2010。查看在：出版商网站|谷歌学者
27. M.Kubanek，J.Bobulski和J.Kulawik，“使用卷积神经网络进行语音识别的语音编码方法”对称，第11卷，第5期。9，页1185,2019。查看在：出版商网站|谷歌学者
28. P. P. Dash和D. Patra，“一种使用指数量子粒子滤波和均值移位优化的视觉跟踪的有效混合框架，”多媒体工具及应用，卷。79，没有。29-30，pp。21513-21537,2020。查看在：出版商网站|谷歌学者
29. J. Jin和X. Ma，“用于信号交叉口的交通状态估计的非参数贝叶斯框架”信息科学，第498卷，第21-40页，2019。查看在：出版商网站|谷歌学者
30. P. INSOM，C.CAO，P. Boonsrimuang等，“用于改进的土地覆盖分类的支持向量机基础粒子过滤器应用于MODIS数据”2016年IEEE国际地球科学与遥感研讨会论文集， pp. 775-778, IEEE，北京，中国，2016年7月。查看在：出版商网站|谷歌学者
31. P. Insom，C.春兴Cao，P. Boonsrimuang等，“用于改进洪水分类的基于支持向量机基础粒子滤波器方法”，IEEE地球科学与遥感通讯，第12卷，第2期第9页，1943-1947,2015。查看在：出版商网站|谷歌学者
32. P. Kamsing，P. Torteeka和S. Yooyen，“一种增强的学习算法，具有基于粒子滤波器的梯度下降优化方法”神经计算与应用，卷。32，不。16，PP。12789-12800,2020。查看在：出版商网站|谷歌学者
33. S. F. Karimian，R.Moradi，S. Cofre-Martel，K. M. Groth和M. Modarres，“神经网络和粒子过滤：用于裂纹传播预测的混合框架，”信号处理，卷。2004,2020。查看在：谷歌学者
34. A. Ratre，“基于随机梯度下降鲸鱼优化算法的深度卷积神经网络用于人群情感理解”，计算机杂志，卷。63，否。2，pp。267-282,2019。查看在：出版商网站|谷歌学者
35. A. Koreanschi, O. Sugar Gabor, J. Acotto等人，“用于低速减阻的飞机变形翼尖演示机的优化和设计，第i部分:使用遗传、蜂群和梯度下降算法的气动优化，”中国航空杂志，卷。30，不。1，pp。149-163,2017。查看在：出版商网站|谷歌学者
36. A. M. Kler，P.V.Zharkov和N. O. Epishkin，“使用梯度方法的超临界电厂的参数优化”活力，卷。189年，2019年第116230,2019。查看在：出版商网站|谷歌学者
37. Rhammell，“卫星图像中的Planesnet-Planes，”https://www.kaggle.com/rhammell/planesnet/version/2．
38. P. Warden，“语音命令：单词语音识别的公共数据集，”https://www.kaggle.com/c/tensorflow-speech-recognition-challenge．

版权

版权所有©2020 Patcharin Kamsing等。这是分布下的开放式访问文章创意公共归因许可证如果正确引用了原始工作，则允许在任何媒体中的不受限制使用，分发和再现。