人机交互的进展

PDF
人机交互的进展/2020/文章

研究文章|开放获取

体积 2020 |文章的ID 8895176 | https://doi.org/10.1155/2020/8895176

Mohammad J. M. Zedan, Ali I. Abduljabbar, Fahad Layth Malallah, Mustafa Ghanem Saeed 基于情感识别的物联网远程控制嵌入式系统",人机交互的进展 卷。2020 文章的ID8895176 10 页面 2020 https://doi.org/10.1155/2020/8895176

基于情感识别的物联网远程控制嵌入式系统

学术编辑器:托马斯Mandl
收到了 2020年3月15日
修改后的 2020年8月04
接受 2020年11月18日
发表 2020年12月07

摘要

如今,很多研究关注于人机交互(HCI),特别是在生物信号方面,最近被用于远程控制,特别是为残疾人提供好处或防止传染病,如冠状病毒。本文提出了一种通过情绪视觉识别来远程控制电子设备的生物信号类型——面部情绪信号。我们的目标是将两种面部表情转换为:由相机捕捉到的微笑或不微笑的视觉信号转换为远程控制信号。该方法是通过结合机器学习(用于微笑识别)和嵌入式系统(用于远程控制物联网)领域实现的。在微笑识别方面,利用GENKl-4K数据库训练模型,模型的构建顺序为:实时视频、快照图像、预处理、人脸检测、HOG特征提取,最后采用SVM进行分类。经过10倍验证,训练和测试的识别率达到89%。在物联网方面,利用Arduino和MCU (Tx和Rx)节点作为服务器和客户端,通过HTTP协议远程传输产生的生物信号。通过对40名参与者进行实验,他们参与了在多种设备上控制情绪生物信号的实验,比如通过Wi-Fi关闭或关闭警报。实现本研究的系统是用Matlab开发的。它将摄像头与Arduino和MCU节点连接起来作为嵌入式系统。

1.简介

为了简化生活方式,通过生物信号远程控制电子设备的科学研究引起了人机交互(HCI)、机器学习(ML)和嵌入式系统(ES)等领域的研究人员的兴趣。设备控制操作可分为两种:触控(接触)和触控(非接触)[1].每一种都有它的优点和缺点。对于可执行的非接触式控制,如使用手势[2]和姿态、头部或面部手势,摄像机记录视频流,然后,将进行若干处理操作,以提取有用的信号,发送到远程进行处理[2],又称视控[1].这类控制是有用的,因为不会有传染给健康人的风险,特别是对于公共场所如公共汽车站或火车站存在的带有键盘或按钮的一般设备和工具。尤其是现在,我们非常需要保护自己免受某些类型的传染,例如冠状病毒[3.,它正在不受控制地分布。然而,这种远程控制方法需要安装一些复杂的设备和编程技能。其中一种非接触式控制是面部表情;有六种基本的情绪[4,它们分别是:厌恶、愤怒、快乐、恐惧、惊讶和悲伤。然而,在目前的研究中,只有两类情绪被利用来被认为是生物信号,它们是快乐(微笑)和悲伤(不微笑)。这两类情绪被认为是这项研究的范围。值得一提的是,情感伴随着认知和意识的心理和生理状态,在人类的交流中发挥着重要作用,在物联网、物联网[56].随着物联网的普及[7],生物信号也可以通过无线接入点传输到远程应用,如医疗保健部门,例如,患者监测技术,特别是为在家治疗的患者和残疾人[89].

本文的主要研究目标是如何将摄像头捕捉到的人脸表情视觉传输到Wifi信号中,作为物联网应用。换句话说,我们提出了一种新的生物信号(微笑和不微笑),用于控制电子设备,因为机器可能不再局限于明确的命令,可以以更类似于人与人之间互动的方式与人互动。与此同时,计算机能够自动检测抑郁、焦虑和悲伤的症状,从而对这些情况做出早期反应[10].例如,当生物信号不好时,警报装置就会打开;否则,报警系统处于关闭状态。另一个应用是开关电机设备,用于打开和关闭门或任何需要的工具。然而,在令人满意的水平上远程控制设备仍然是一项具有挑战性的任务。为了实现这一目标,拟议的系统将把大数据训练的机器学习与物联网系统相结合。机器学习部分将被训练来识别笑脸,作为面部情绪识别系统的样本。此外,输出将被馈送到物联网系统,而拟议的生物信号将被用于控制远程嵌入式设备,被认为是当前研究的贡献知识。

本研究共分为六个部分,组织如下。部分2对近年来同类研究的相关文献进行了综述。节3.,对研究方法设计进行了说明。然后,在章节中介绍实验和测试4.节5,报告了结果和讨论。最后,在节6,最后给出结论及参考文献列表。

2.文献综述

最近有关非接触式或远程控制的工作是严格审查在这一节。可以远程控制的电子设备可以划分为不同的部门,如医疗保健、家用电器、公共交通工具中的设备和工业设备。当摄像头捕捉到视频流的图像,然后拟议的系统分析图像,然后向连接的设备或远程设备发出命令时,这个过程就发生了。在这里,远程设备可能通过蓝牙模块、红外LED和射频信号使用无线技术。例如,用声音和脑电波远程控制电子设备在[11],本工作也将使用HMM的机器学习与使用Arduino板的嵌入式系统相结合。这些信号由耳机捕捉,经过各种处理,生物信号将转化为动作。

Bissoli Alexandre等人[12]提出了一种基于眼球注视跟踪的物联网智能家居控制系统,以帮助残疾人。该系统依靠Eye Tribe软件应用程序来实现用户注视的位置,并据此产生一个控制信号,以消息的形式通过传输控制协议(TCP)异步发送给客户端(设备)。泽丹·穆罕默德等人[13]提出了一种基于智能手套手势的人机界面(HCI)系统,该系统与物联网平台相连。手指和手掌的运动取决于智能手套中包含的伸缩传感器和加速度计传感器的输出。控制动作从手在三个轴上的运动转化为通过网络服务器使用无线通信控制最多三个设备。

Espinosa-Aranda等人在[14].基于事物之眼(eye of Things, EoT)装置的卷积神经网络(CNN)是一种深度学习技术,用于现实生活中的面部表情应用。事物之眼装置是一种计算机视觉平台,可以对局部图像进行分析,并据此控制周围的环境。训练得到的情绪识别模型,对中性面孔以外的6种基本情绪进行分类;此外,还使用了Cohn-Kanade扩展数据库(CK +)进行验证。

作为健康智能家居(HSH)的另一项病人监测工作载于[1516],通过在物联网上使用摄像头和图像处理,将患者图像用于检测,以在家庭医疗环境中帮助患者和老年人。另一项控制工作是利用情绪识别对设备进行自动控制,它是基于人类的表情实现必威2490的:悲伤、中性、微笑和惊讶。预期的系统使用眼睛和嘴巴区域识别这些表情,分析的信息用于识别各种面部表情。控制的种类有:照明、采暖、通风、空调等。然后,获得的输出信息被输入到微控制器,帮助控制各种电子设备,如[17].此外,许多电子设备在智能家庭使用射频(RF)和Wi-Fi控制。Arduino Ethernet Shield Wi-Fi模块用于将控制信号从中央处理器传输到智能住宅中的电子设备。18].此外,远程控制设备是基于可穿戴设备,可用于从远处通过手势控制计算机,使用扫描频率电容感应(SFCS)技术[19].另一个远程控制的想法是使用一种生物电位,即表面肌电图[20.这是肌肉细胞产生的电势,并被表面电极捕获。因此,在[21,利用多元高斯分类器训练来自一个人的表面肌电信号。这些信号代表了面部表情:中性、微笑、皱眉和皱鼻子,在这些表情中,无线信号被用来通过生物电位控制远程设备。值得指出的是,这种类型的情感识别方法与人脸图像处理方法相比是昂贵的,所以我们在当前的研究中重点关注了它。然而,面部表面肌电的优势在于不受光照条件和头部姿态的限制,其应用于可穿戴或便携式设备的潜力[21].

3.方法

如图所示,可以将所提出的想法划分为三个主要阶段来描述1.第一阶段致力于训练操作,第二阶段用于测试,或者换句话说,实时预测,第三阶段致力于利用广域网作为物联网(IoT)的应用,发送和接收产生的信号。

3.1.第一阶段

该方法首先使用GENKl-4数据库训练微笑和不微笑的模型,该数据库解释得很好[22].总体框图如图所示1,因为很明显,第一步是阅读用于训练的图像。使用的图像用于一些预处理操作,如缩放到合适的尺寸[50 × 50],然后通过均衡操作对图像对比度进行增强,以获得更好的精度。之后,一种名为Viola-Jones的人脸检测算法[23]在这项研究中被利用来只修剪脸部。之后,采用了一种名为直方图方向梯度(HOG)的特征提取方法,这是Dalal和Triggs在2005年CVPR会议上提出的,在[2425].

在实现HOG之后,每个示例都将具有一些特性(F)以矢量形式排列。HOG描述符的基本实现如下:将图像划分为小的连接区域,命名为cell,并针对每个cell计算单元内像素的梯度方向或边缘方向的直方图。为了计算每个像素的梯度和方向,考虑图像A和梯度估计滤波器hx =[−1,0,1],和hy =[−1,0,1]T。设gx和gy分别表示gx =产生的梯度图像一个 Hx和gy =一个 重, 表示卷积符号。梯度的大小在每个像素可以计算如下 每个像素处的主导梯度角可以通过

利用得到的梯度方向,将每个单元离散为角箱。每个细胞的像素对其对应的角仓贡献一个加权梯度。相邻的单元在空间区域内被分组成块,这形成了直方图分组和归一化的基础。直方图的标准化组表示块直方图,这些块直方图的集合表示描述符。

在这项工作中,将HOG应用于人脸图像,使用[2 × 2]块大小和14个细胞大小,每个细胞有9个bin的直方图,得到1260维的特征向量。HOG特征为我们提供了人脸图像的边缘信息。所有训练图像的特征都被计算并存储在数据库中。特征向量来自于每列5个单元格乘以每行7个单元格乘以9个直方图的4个块的相乘结果,结果为:

在分类方面,有几种算法用于分类,其中比较流行的是CNN。然而,选择支持向量机(SVM)作为一个二值分类来训练模型来实现这个小的机器学习问题,因为它只需要预测输入测试图像是微笑还是非微笑;同时,在识别率方面取得了良好的效果。SVM训练完成后,将SVM的参考模型存储在服务器中,用于未来的实时预测。让x表示输入空间。通过一些非线性映射,函数φ映射到一个特征空间,b是基础, 权向量是指

如图所示2, SVM可以将多个样本分成两类,在二元SVM的情况下,由超平面向量,在多次尝试后决定在最小的目标误差处停止。在图2,有两个类:第一个类存在,如果w的结果存在。x+b≥+1,如果w的计算结果存在第二类。x+b≤−1,其中分离面为w。x+b= 0。

3.2.第二阶段

对于基于SVM模型的未来预测,将在第二阶段进行考虑,如图所示1.首先读取实时视频,然后捕获快照图像,对快照图像(测试图像)进行与第一阶段相同的操作。最后,在训练好的支持向量机模型的基础上,利用支持向量机进行预测操作。

然后,利用Matlab Support Package生成控制信号,通过串行通信(USB)发送到Arduino板上。Arduino Uno设备展示的容量很小,需要添加新的设备通过Wi-Fi进行通信。而且,NodeMCU平台的市场价值(功能)与Arduino Uno几乎相同;此外,它内部有Wi-Fi功能。

Arduino板不作为伺服电机的最终控制器,而是通过web服务器将控制信号再次从Arduino串行发送到支持无线通信的NodeMCU平台(发射机部分)。这样的设备被用来制造一个无线控制系统,以增加可携带性,因此可以实现设备控制的各种技术应用。

NodeMCU平台的编程过程是使用Arduino IDE软件完成的,其中使用不同的库和指令来配置发射机节点作为服务器工作,如图所示3(一个).一旦程序被加载,一个电源银行可以被用来提供一个持续的电源供应。

3.3.第三阶段

该系统使用物联网(IoT)平台进行通信,发射器和接收器可以使用内置的Wi-Fi进行通信,该Wi-Fi是NodeMCU平台的一部分,距离可达100米。但是,在需要扩大覆盖范围的情况下,接入点用于覆盖较长的距离,如医院街区。

接收部分由NodeMCU设备组成,该设备连接任意终端设备,即伺服电机。

根据所连接的终端设备,接收器应该被编程来控制该终端的功能。许多指令用于配置第二个节点的操作,使其作为客户端工作,如图所示3 (b).伺服电机通过PWM引脚与NodeMCU连接,这是一个数字引脚。因此,输出或0或5 V。然而,这个引脚可以输出0到5 V之间的中间电压值。

利用ESP8266.h库和集成开发环境Arduino_IDE,通过HTTP协议实现两个节点之间的通信。

超文本传输协议(HTTP)是TCP/IP协议中的应用级,用于分布式、协作、超媒体信息系统[26].此外,它还可以传输明文、超文本、音频、图像和互联网可访问的信息。客户机-服务器环境意味着在多个程序之间通过网络进行通信。客户端通过向服务器发送请求来触发通信。HTTP请求被发送到服务器,由查询行、查询头字段和查询主体组成,如图所示4

4.实验

实验的过程可以分为两部分:第一部分是机器学习操作,通过准备一个合适的模型来依赖它,以便进行分类,以便将来预测人脸是否在微笑。第二部分是基于分类器决策,通过连接和应用远程设备的命令来实现嵌入式系统的操作。

第一部分是基于数据库对所提模型进行训练和测试,其中使用了GENT1-4k数据库。在这里,我们使用了1081个样本对笑脸进行训练,使用了919个样本对非笑脸进行训练,如表所示1,以获取培训和测试信息的详细信息


图像类型 培训人数 测试数量

微笑 1081 919
Nonsmiling 1081 919
所有 2162 1838

本文使用的分类器命名为支持向量机(SVM),该分类器分别对非微笑和微笑进行了否定和肯定的二元分类。换句话说,积极用户被称为(+1)类,而消极用户被称为(−1)类,用于训练和测试。这里用于决定两个类之间的阈值是(0),因为它是−1和+1预测分数之间的无偏分离。

实验按以下步骤进行。(1)由2162个个体的图像组成SVM训练矩阵,其中微笑图像样本1081个,非微笑图像样本919个。每个样本都有几个特征向量,这些特征向量基于HOG设置而变化;然而,当特征向量长度为756个特征时,获得的精度最好。因此,训练矩阵的大小为 (每个样本756个特征,2000个样本(1081 + 919)用于训练的参考模型)。(2)计算了FAR和FRR误差的性能。(3)通过提取模型的假接受率(FAR)和假拒绝率(FRR)来计算结果的性能,同时建立与方法和数量相似的检验矩阵 训练矩阵的。(4)所使用的阈值为零。(5)当微笑样本被系统错误地识别为非微笑样本时,可以计算FRR。因此,每一个被错误识别的样本增加1 计算该误差的错误率为 (6)相反,当非微笑的测试样本被系统错误地识别为微笑时,计算FAR,使每个样本被错误识别,计数器增加1 ,则计算该误差的错误率为 (7)系统模型的精度是通过考虑GENKl-4K数据库中的所有个体来计算的,通过使用计算出2000个个体的平均精度

SVM模型中使用的参数如下:多项式为激活函数,使用ISDA优化算法进行训练,选择最合适的权重,并对微笑类和非微笑类之间的最佳分离线进行偏置。

值得一提的是,训练与测试的比例是50%,用于训练,50%用于来自这个数据库的测试。此外,在研究中还将使用另一个分区来衡量所提出的识别系统的准确性,该系统使用10倍交叉验证。微笑样本为1 - 2162,非微笑样本为2163 - 4000。然后,将这个标记的矩阵应用到10倍。在这里,k-foldk= 10。这种分区是对数据集随机执行的,其中每一次折叠将有两个类的400个随机样本。这意味着在每一轮的训练模型将基于k-1次,剩余的一次将用于验证。

5.结果与讨论

总的来说,结果可以分为两部分:第一部分的结果与机器学习的训练和测试有关,机器学习由特征提取HOG和分类器SVM组成。结果的第二部分是基于训练好的模型对远程嵌入式设备的控制。

在第一部分中,我们进行了多次实验,通过修改HOG和SVM的参数来获得最佳识别率,如表所示。

被检测人脸的图像大小被认为是实验中使用的两个尺寸[100 × 100]像素,第二类[80 × 80]选择是在大量实验的基础上进行的,最终一致这两个尺寸,以给出最佳的识别率。此外,参数块大小(废话)在所有实验中都固定在两个像素处。现在,通过在最小二乘(LS)和最小二乘(SMO)之间交替使用SVM的训练方法类型,根据最佳识别率选择性能。

使用LS学习算法,结果如表所示2.可以看出,在进行的5次实验中,最佳识别率达到88.6%,当特征向量长度为864时,为得到该特征长度,取HOG (bs)为2,取HOG cell size (cs)为11,图像大小为[100 × 100],此处混淆矩阵也如表所示2,因为输出的809个非微笑样本被正确识别,而未被正确识别的非微笑样本有110个,总共919个样本。尽管如此,在1081个微笑样本中,正确识别的微笑样本有963个,错误识别的微笑样本有118个。


Exp。不。 HOG-CS HOG-bs 图像大小 长/形象 培训时间 测试时间 精度 ConMat

1 11 2 One hundred. 864 4.6 1.1 88.6000 809 110
118 963
2 7 2 One hundred. 2808 7.3 4.6 87.9000 801 118
124 957
3. 9 2 One hundred. 1440 7.31 3.7 88.4500 808 111
120 961
4 13 2 One hundred. 432 5.3 0.3 87.7 802 117
129 952
5 15 2 One hundred. 360 6.40 0.4 88.20 807 112
124 957

另外,我们使用另一种学习算法序贯最小优化(SMO)进行了实验,结果如表所示3..在进行的5个实验中,当特征向量长度为864时,最佳识别率达到88.6%(实验3);为得到该特征长度,取HOG (bs)为2,取HOG cell size (cs)为11,图像大小为[100 × 100]。混淆矩阵也如表所示3.为每一个实验


Exp。不。 HOG-CS HOG-bs 图像大小 长/形象 培训时间 测试时间 精度 ConMat

1 7 2 One hundred. 2808 97.74 4.0 87.80 800 119
125 956
2 9 2 One hundred. 1440 92.01 2.5 88.45 808 111
120 961
3. 11 2 One hundred. 864 3.32 0.5 88.60 809 110
118 963
4 13 2 One hundred. 432 3.2 0.5 87.70 801 118
128 953
5 15 2 One hundred. 360 2.95 0.3 88.10 806 113
125 956

这意味着将学习算法类型从LS改为SMO对识别率没有正面或负面的影响。但是,在提取的信息中有一些修改,如训练和测试时间;在使用相同的特征向量长度的情况下,SMO学习算法比LS学习算法更快2而且3.

现在,为了尽可能地降低错误率,已发现的解决方案之一是将检测到的人脸图像大小改为[80 × 80]像素,这个大小通过利用学习算法SMO进行多次实验,因为它消耗的训练和测试时间更少,如表所示4


Exp。不。 HOG-CS HOG-bs 图像大小 长/形象 培训时间 测试时间 精度 ConMat

1 7 2 80 1440 93.8 2 88.70 803 116
110 971
2 9 2 80 756 3.26 0.8 88.90 817 102
120 961
3. 11 2 80 432 2.83 0.5 88.25 801 118
117 964
4 13 2 80 360 2.76 0.3 88.35 799 120
113 968
5 15 2 80 144 3.28 0.1 88.30 800 119
115 966

可以看出,在进行的5次实验中,识别率最高可达88.9%,当特征向量长度为756时,为得到该特征长度,取HOG (bs)为2,取HOG-cell size (cs)为9,图像大小为[100 × 100],此处混淆矩阵也如表所示4,它的输出有817个正确识别的非微笑样本,而未正确识别的非微笑样本有102个,在总数919个样本中。尽管如此,测试中正确识别的微笑样本有961个,而错误识别的微笑样本有120个,共1081个。值得一提的是,减小图像大小会导致训练时间的减少,因为图像的特征表示向量也会减少。因此,本次实验的训练时间为3.2秒,如表所示4为更多的细节。

对表中实验二的实验结果进行了计算4, FRR、FAR及整体精度计算为(4) - (6),分别。根据测试的最高成果,FRR的误差= 11.1%,详细信息见120/1081 100, FAR = 11.1%,详见102/919 One hundred.2000个样本测试图像的总体精度如下:100−(FRR + FAR)/2,为88.9%,如表所示4

由于微笑与不微笑的10倍的结果,准确率高达89.2%。训练矩阵为[4000 × 756],混淆矩阵如表所示5


预测的值
总样本 不应承担的微笑 微笑

不应承担的微笑 1838 1612 226
微笑 2162 206 1956

在这个实验中Table5,训练数据集在样本数量上与测试集不相同,而是根据k倍交叉验证。它选取了十倍,即每一倍包含400个随机抽取的微笑样本和非微笑样本。这个交叉验证的算法是取k-1倍到训练,剩下的k倍用于测试;也就是说,这里使用了400个随机样本进行测试,3600个样本进行训练。作为百分比,10%用于测试,90%用于培训。

第二部分是基于训练好的模型对远程嵌入式设备的控制。必威2490如图所示5,左右各有两个NodeMCUs;右边的代表服务器节点(发射机部分),连接到微笑/非微笑检测发生的计算机。服务器节点负责远程发送控制信号。

左边的NodeMCU代表客户端(接收节点),通过Wi-Fi接收信号。因此,当脸部微笑时,电机将有一个特定的旋转作为一个垂直的位置。在这里,电机的速度响应取决于所使用的NodeMCU的类型和负责情绪检测的计算机,从而根据检测到的生物信号移动电机。

类似地,如图所示6由于脸部没有笑容,马达将叶片转到水平位置。根据从所述服务器端计算机检测到的生物信号,容易将所述电机位置编程为所需位置。

这项技术被应用到大学里大约40个人身上,要求他们打开或关闭嵌入式系统(在我们这里是马达),通过在摄像机前使用他们微笑或不微笑的脸;他们所有人都可以将自己的情绪转化为控制马达的信号补充材料).但是这个实验需要完善房间的照度来控制摄像机捕捉到的亮度,即白平衡。实验是在室内进行的,作为这项技术的范围,而它可以在室外进行,但它需要一些图像处理工具来添加白平衡。

通常情况下,深度神经网络在大多数任务上比SVM表现得更好。但是CNN需要较高的硬件处理能力,比如多处理器CPU;否则,它使用更多的时间和功耗,而SVM比CNN需要更少的时间处理,这是非常重要的,特别是本研究的假设是将这一概念应用到接近轻量化设备的嵌入式系统设备。因此,降低处理时间是保证实时工作的必要条件。另一个原因是SVM比CNN更容易用于小的模式识别问题。这里讨论的问题包括两类(微笑和非微笑),SVM可以很好地处理二进制模式识别问题。

然而,CNN并不是在所有情况下都优于其他机器学习分类器,这是根据情况的可行性来决定的。例如,本文对SVM和CNN进行了比较[27],以达到废物分类的目的。其次,SVM的分类准确率为94.8%,高于CNN的83%。

Kamath等人也采用了类似的方法,如[17,它是关于使用情绪识别的必威2490四种生物信号:悲伤、中立、微笑和惊讶来自动控制设备,但这里没有任何明确的测试和百分比,也没有使用公共数据库。然而,我们提出的系统是在公共数据集上实现的两个生物信号,具有清晰的实验解释和准确性结果。

另一个类似的作品如[21],该研究使用多元高斯分类器从一个人的表面肌电信号进行离线训练,表面肌电信号包括四种面部表情:中性、微笑、皱眉和皱鼻子,从而控制远程设备。然而,这种类型的情感识别相比于本文的概念,依赖于人脸图像处理方法和普通的传统相机输入数据流是昂贵的。

6.结论

面部情绪识别可用于控制不同生活领域的任何嵌入式系统设备。识别必须实时进行,才能远程发送,以控制通过互联网连接的设备作为物联网。换句话说,微笑和不微笑被称为生物信号,可以用来控制远程设备。这里的好处包括几个方面的应用,例如通过从生活中移除接触控制来防止任何传染病,特别是某些导致大流行风险的疾病,例如冠状病毒。在技术上,该操作是通过将工作分为两个部分来完成的,即利用预处理、HOG和SVM进行机器学习,然后将提取的信号处理到嵌入式设备,以控制任何想要的设备。根据应用程序,这些设备可能被远程定位或在人的附近,但在任何情况下,控制都以一种未接触的方式进行。实验对象为40人。值得注意的是,所有的角色都可以通过微笑或不笑来根据他们的脸垂直或水平地转动马达。在未来的工作中,情绪识别可能会被两个以上的信号所控制,从而具有更好的可控性和灵活性。

数据可用性

公共GENKl-4K数据库的4000个图像子集可以在http://genkl - 4k上找到mplab.ucsd.edu

信息披露

研究和出版费用由本文作者资助。

的利益冲突

作者声明,关于这篇论文的发表不存在利益冲突。

补充材料

补充材料包括实现的研究代码和实时视频结果。补充材料

参考文献

  1. M. F. Layth, n.y. M. G. S. Khaled, S. D. Abdulameer和A. W. Altuhafi,“通过将手势转换为声音的视觉控制,”国际科学技术研究杂志第七卷,没有。7, pp. 185-190, 2018。视图:谷歌学者
  2. f.l. Malallah, S. Baraa, m.d. Aso等人,“基于区域特征提取和专家系统的baiometric混合手势,”信息技术理论与应用杂志第95卷第1期。23日,2017年。视图:谷歌学者
  3. J. A. Backer, K. Don和W. Jacco,“2020年1月20日至28日,来自中国武汉的旅行者中2019年新型冠状病毒(2019- ncov)感染的潜伏期,”Eurosurveillance《中国青年报》,第25卷,文章ID 2000062, 2020。视图:出版商的网站|谷歌学者
  4. a . Nandi, P. Dutta和M. Nasir,“通过地标三角测量从面部图像识别人类情绪:一种基于环中心-中心-质心三元特征的组合方法”,在机器学习范式中的算法, 147-164页,施普林格,柏林,德国,2020年。视图:出版商的网站|谷歌学者
  5. 华伟,戴飞,黄磊,熊杰,桂刚,“HERO:实现智能物联网的人类情感识别”,IEEE访问, vol. 7, pp. 24321-24332, 2019。视图:出版商的网站|谷歌学者
  6. 周振宇,郭勇,何勇,赵晓明,“工业自动化中M2M通信的访问控制与资源分配,”工业信息学汇刊第15卷,no。5, pp. 3093-3103, 2019。视图:出版商的网站|谷歌学者
  7. R. M. Varaprasad, K. Srujan Raju, G. Vishnu Murthy和B. Kavitha Rani,“物联网的配置和管理”,在“数据工程与通信技术”,第163-172页,施普林格,德国柏林,2020年。视图:出版商的网站|谷歌学者
  8. F. Bahar、F. Firouzi和K. Chakrabarty,“医疗IoT”,在智能物联网,第515-545页,施普林格,德国柏林,2020年。视图:谷歌学者
  9. P. Maria, K. Fysarakis, V. Sakkalis等,“智能医疗保健应用中的生物传感器和物联网:挑战和机遇”,载可穿戴和植入式医疗设备,第25-53页,爱思唯尔,阿姆斯特丹,荷兰,2020年。视图:谷歌学者
  10. M. Zhao, F. Adib和D. Katabi,“使用无线信号的情感识别”,在第22届移动计算与网络国际年会论文集2016年10月,美国纽约。视图:谷歌学者
  11. B. Djemaa, A. Ayoub和D. Chogueur,“通过声音和脑电波远程控制电子设备”2017年国际数学与信息技术会议论文集,第38-42页,阿尔及利亚阿德拉尔,2017年12月。视图:谷歌学者
  12. B. Alexandre, D. Lavino-Junior, M. Sime, L. Encarnação, T. Bastos-Filho,“一种基于眼球追踪的人机界面,用于使用物联网控制和监控智能家居。”传感器,第19卷,第859页,2019年。视图:出版商的网站|谷歌学者
  13. j.m.泽丹·穆罕默德,a.a.j。Mamoon和a.m.a. Mohammed,“节点- mcu平台下残疾人访问的实时环境控制系统”,IOP会议系列:材料科学与工程第518卷第1期4、2019。视图:谷歌学者
  14. J. Espinosa-Aranda, N. Vallez, r . s。Jose Maria等人,“智能娃娃:使用嵌入深度学习的情感识别,”对称第10卷,no。9,第387页,2018。视图:出版商的网站|谷歌学者
  15. L. Y. Mano, b.s. Faiçal, L. H. V. Nakamura等人,“利用物联网技术通过患者识别和情感识别增强健康智能家居,”计算机通信, vol. 89-90, pp. 178-190, 2016。视图:出版商的网站|谷歌学者
  16. I. Mirja, Y. Gizatdinova, V. Surakka和E. Vankka,“头部运动和面部表情作为游戏输入,”娱乐计算, vol. 5, pp. 147-156, 2014。视图:出版商的网站|谷歌学者
  17. K. D. Laxmana, R. Jackson, R. Jacob, C. C. Chacko, C. M. Soumya和P. Remya Krishnan,“一种使用情感识别的自动设备控制的新方法”2017智能计算、仪器仪表与控制技术国际会议论文集, 1173-1176页,印度喀拉拉邦坎努尔,2017年7月。视图:谷歌学者
  18. T. N. Dang和L. T. H. Le,“使用射频和wifi的智能家庭中许多电子设备的遥控面板的改进,”国际在线与生物医学工程杂志第15卷,no。15, pp. 127-133, 2019。视图:出版商的网站|谷歌学者
  19. 帕拉维(S. Pallavi)和贝里亚(R. Berlia),“项目触摸端口:一个由便携式触摸屏组成的系统,可以将任何电脑屏幕转换为触摸敏感屏幕,以及一个可穿戴的无线设备,可以远程控制你的电脑。2014年IEEE全球人道主义技术会议南亚卫星会议论文集(GHTC-SAS),第72-76页,Trivandrum,印度,2014年9月。视图:谷歌学者
  20. G. Acar, O. Ozturk, a . J. Golparvar等人,“用于生物电位信号监测的可穿戴和柔性纺织电极:综述”,电子产品第8卷,没有。5,第479页,2019年。视图:出版商的网站|谷歌学者
  21. M. Jiang, T. N. Gia, A. Anzanpour等人,“基于物联网的基于表面肌电信号的远程面部表情监测系统”,载2016 IEEE传感器应用研讨会论文集(SAS),第1-6页,意大利卡塔尼亚,2016年4月。视图:出版商的网站|谷歌学者
  22. K. S. Ebrahimi, P. Froumenty和C. Pal,“基于高维二元特征的面部表情分析”,载于欧洲计算机视觉会议论文集,页135-147,Cham,瑞士,2014年9月。视图:谷歌学者
  23. V. Paul和M. Jones,“使用简单特征的增强级联快速目标检测”,在2001年IEEE计算机学会计算机视觉和模式识别会议论文集。CVPR 20012001年2月,美国考艾岛。视图:出版商的网站|谷歌学者
  24. N. Abbas, K. N. Yasen, K. H. A. Faraj, L. F. A. Razak和F. L. Malallah,“使用直方图方向梯度和支持向量机进行离线手写签名识别,”信息技术理论与应用杂志第96卷第1期。8, pp. 2075-2084, 2018。视图:谷歌学者
  25. D. Navneet和B. Triggs,“面向人类检测的梯度直方图”2005年IEEE计算机学会计算机视觉和模式识别会议论文集(CVPR ' 05),第886-893页,美国加州圣地亚哥,2005年6月。视图:谷歌学者
  26. F. Roy、J. Gettys、J. Mogul等人Rfc2616:超文本传输协议, RFC编辑,Marina del Rey, CA, USA, 1999年。
  27. E. Sakr George, M. Mokbel, D. Ahmad, M. N. Khneisser和H. Ali,“比较深度学习和支持向量机用于自主垃圾分类”,载于2016 IEEE国际工程技术多学科会议(IMCET)论文集2016年11月,黎巴嫩贝鲁特。视图:谷歌学者

betway赞助版权所有©2020 Mohammad j.m. Zedan等人。这是一篇开放获取的文章,在知识共享署名许可,允许不受限制地在任何媒介上使用、分发和复制,前提是正确引用原作品。


更多相关文章

PDF 下载引用 引用
下载其他格式更多的
订单打印副本订单
的观点611
下载473
引用

相关文章