使用RGB-D传感器网络对现场老化活动进行被动观察

摘要

“就地养老”指的是支持老年人尽可能长时间地在自己居住的地方独立生活。为了支持这种与各种其他类型的辅助生活方式形成对比的替代生活方式，需要探索和研究监测技术的模式，以确定保护隐私和感知信息的充分性之间的平衡，以便更好地估计和可视化运动和活动。在本文中，我们探讨了RGB-D传感器网络如何用于此目的的监测范式。这种类型的传感器提供来自场景的视觉和深度传感模式，其中信息可以融合和编码，以更好地保护隐私。为此，我们引入了被动观察者的新概念。这个观察者只有在检测到场景中没有老年人的运动时才会被触发。这是通过在检测到运动之前和之后对监控场景中的对象进行分类和本地化来实现的。利用深度学习工具对物理场景中的已知物体进行视觉分类，然后对场景进行虚拟现实重建，重新创建物体的形状和位置。这样的重建可以用作视觉总结，以确定由老年人在观察之间处理的对象。例如，护理人员或监控人员可以使用简化的虚拟场景，以协助检测任何异常情况。 This virtual visualization can offer a high level of privacy protection without having any direct visual access to the monitoring scene. In addition, using the scene graph representation, an automatic decision-making tool is proposed where spatial relationships between the objects can be used to estimate the expected activities. The results of this paper are demonstrated through two case studies.

1.简介

部分原因是大多数有能力的老年人(55-80岁)的偏好，部分原因是当前大流行(COVID-19)的存在，它最初影响了老年人的生活社区，“就地老龄化”越来越受欢迎[1，2］．然而，为了支持这种另类的生活方式，还应该有可接受的技术，允许老年人分享与他们的健康和幸福有关的广泛数据[3.，4］．最先进的传感技术提供了几种可用于监测运动和活动的替代方案。例如，这可以是各种环境类型的传感器，可以放置在老年人的生活空间中，用于他们与电气、热或水流传感设备的交互，例如，参见[5- - - - - -7］．可穿戴传感器可提供一种替代传感，用于监测运动，并从记录的数据进一步推断其活动[8］．视觉RGB传感也可作为一种综合传感，用于提取相关信息[9］．最近，深度传感器也被用于检测人体姿势，然后可以用作整体活动识别的一部分，见[10，11］．RGB和深度传感器的组合(RGB- d)被用作估计人类运动和活动的丰富模态感[12- - - - - -14］．

一般来说，监测区域传感信息的详细程度取决于传感器的类型、渐进程度和分布。例如，基本距离传感器可以确定由传感器的操作属性定义的一定距离内的老年人的存在和不存在。另一方面，RGB传感器可用于从场景中获取更多的细节，包括老年人的存在[15］．然而，隐私保护日益成为老年人的主要关注点之一。关注的是传感模式的部署，传感细节水平的提高，如RGB摄像机[16- - - - - -18］．因此，要成功部署任何传感技术，就必须在监测要求和保护其隐私之间取得平衡。

本文探讨了通过RGB-D传感提供的丰富传感模式与支持人工智能的被动监控概念之间的这种新颖的综合，以提高与监控系统相关的隐私水平。所提出的基于人工智能的方法是基于在监测区域检测到老年人存在之前和之后相关的场景分析。该系统的其中一个应用是开发回放模块，当老年人忘记一些物体的位置时，可以使用该系统回溯他们的部分活动，作为提醒。该方法使用深度学习工具，使用RGB传感器检测生活环境中已知物体的存在。该方法利用深度传感器的标定模型，在场景的虚拟描述中定位和总结被检测物体的空间位置。通过比较场景描述中检测到的物体的前后位置，可以确定是否有老年人与物体进行了交互，或者是否有任何物体被带走或引入场景。此外，还可以用视觉标记标记虚拟场景，识别老年人的运动轨迹，可以进一步探索与物体位置相关的轨迹。本文的虚拟总结结果可供护理专业人员或家庭成员使用，他们可以定期观察可视化的图形总结，以访问任何异常的发生。

论文组织结构如下2介绍了本文设计和开发过程中用到的一些工具。这包括一种传感器校准方法和Redmon等人提出的深度学习对象分类(YOLO)。19］．部分3.介绍了我们提出的新型无源监控系统和虚拟场景重建技术。部分4提出了与所提出的被动监测系统相关的样本案例研究。部分5提出了一种基于场景图分析的判断各种物体是否由老年人处理的方法。本节的结果在前一节中用于虚拟场景的注释，最后用于section6提出结束语。

2.背景材料

本节概述了本文设计和开发过程中使用的两个主要工具。本文的框架是基于多个传感器的使用，这些传感器可以分布在老年人的生活空间。因此，需要在物体的空间位置之间建立一种关系，这种关系可以用公共坐标框架(即世界坐标)来描述，也可以用每个传感器的坐标框架来描述。这一步被称为校准过程，它建立了RGB-D传感器帧和位于物理场景中的坐标之间的关系。此外，来自RGB传感器的校准信息与深度学习算法(YOLO)相连接，用于定位被检测物体。然后，利用所识别对象的信息和传感器网络的校准参数对深度传感器的点云进行分割。

2.1.传感器网络校准

有几种方法可以标定RGB-D传感器网络。摄像机标定是估计成像系统的参数(内在参数)以及传感器的坐标框架相对于位于场景中的坐标框架的相对位姿的过程。然后，对这些参数的估计可以用于测量物体的位置和大小，单位用于其物理描述。校准参数还可以用于确定相机在场景中的实际位置，并校正任何镜头畸变。对于单个RGB相机，定标是研究空间中的三维点如何投射到像平面的二维像素阵列上。例如，蔡[20.]和张[21为了在小视场(FoV)内校准单个摄像机，提出了一种平面图案物体。其他校准对象(如球体)用于更好地分析相机校准，如Lu和Payandeh提出的圆锥提取[22，23王和帕扬得[24］．

由多个传感器组成的网络融合了来自不同视点的多个传感数据。这是通过结合通过多传感器校准获得的相对空间参数的外部描述来实现的。例如，Krumm等人。25代和帕扬得[26]演示了如何在多个RGB监控摄像机中标记和跟踪单个或多个对象。通过两台摄像机，王和帕扬德[24]研究了手部运动和姿势识别，Gao等人。[27研究了一个全身动作捕捉。为了整合来自多个传感器的数据，需要确定它们的内在参数和相对位置(即外部参数)，以提高相机之间的精度和对应关系[23］．例如，图1给出了一个典型的多传感器参考系的分配和表示由指定的目标对象(例如，校准道具/标记)的参考系 ．在图1，从一个参考系的原点指向另一个参考系的箭头表示对应于描述一个坐标系(箭头头部指向的地方)相对于另一个坐标系(箭头尾部起源于的地方)的相对位置和方向的齐次表示。每个箭头上都标着对象之间的齐次变换(外部参数)目标获得物理对象测量值的坐标系和每个传感器的参考坐标系。校准结果用于计算每个传感器之间的相对变换，例如: ，这是传感器3的参考系相对于传感器1的参考坐标的相对描述。这样的描述可用于将来自每个传感器的对象的描述组合到一个公共坐标框架中。

本文利用基于ArUco标记和ChArUco板的OpenCV校准工具[28］．该函数建立环境中的物体与校准图(道具/物体)角之间的对应关系。使用ArUco校准比使用传统的棋盘格模式更通用，因为它允许图表的遮挡或部分视图。校准道具/物体的检测还定义了监控场景的参考坐标系(即世界坐标)，所有深度传感器的点云都合并到该坐标系。校准道具/对象的检测(如图中的示例所示)2)是分析该方法的第一步，然后才开始进一步检测和分类目标。

如图所示2时，从每个传感器的角度来看，校准道具/物体的视角是不同的。从每个相机角度，可以建立共同世界坐标参考系的计算信息。这允许关联每个传感器的点云，以便在共同的参照系中重建。

2.2.对象检测

近年来，已经提出了许多深度学习对象检测工具，这些工具承诺提供一个健壮的检测框架[19］．在本文中，我们提出探索如何在监测区域的被动观察者的背景下使用这些工具。因此，没有注意到探测速度或可能与一般物体探测问题有关的任何其他要求。例如，两个最快的检测算法是EfficientDet [29]和Yolo [19］．为了证明本文提出的集成系统的概念，我们选择了YOLO来实现。下面，我们将介绍该算法的一些基本概述。

你只看一次19]是一种快速目标检测方法，它将检测表现为空间分离的边界盒和关联类概率的回归问题。一个神经网络在一次评估中直接从完整的图像中预测边界框和类别概率。YOLO在训练和测试期间看到整个图像，因此它隐式地编码关于类及其外观的上下文信息。必威2490系统将输入图像分割成 网格。如果一个物体的中心落入一个网格单元，该网格单元负责检测该物体。在网格内，它需要边界框。对于每个包围框，网络输出一个类概率。选择类概率高于阈值的包围框，并用于定位图像中的对象。

每个网格单元格预测包围方框和这些方框的信心得分。这些分数反映了模型对盒子包含对象的信心程度，以及它认为盒子预测的准确性。对于每个包围框，它可以关联一个预测集，例如框的中心坐标及其宽度和高度，或者 的 坐标表示相对于网格单元格边界的方框中心。宽度和高度是相对于整个图像预测的。这个向量可以扩展到包括其他参数，这些参数可以用作检测过程的一部分。为了训练神经网络，输入图像被用于具有多个卷积层和最大池层的单个卷积神经网络。该神经网络将输入图像映射到更小尺寸的特征向量。这涉及到将检测到的对象的中心匹配到正确的单元格和包围框及其相关坐标。该方法同时使用前向传播和后向传播来训练模型。

该方法也有自己的编码边界框的方法。 相对于其关联的网格单元进行计算。假设检测到物体的中点，它的坐标是相对于网格的左上角。为包围框的高、宽与对应网格单元的高、宽之比。如果在一个网格中有多个对象，YOLO实现了锚框的概念。它们是预定义的形状，其中每个网格的边界框可以有多个输出。为了测试，新的图像将被分成与我们在训练期间选择的相同数量的网格。对于每个网格，模型将预测一个形状的输出(假设这是训练期间目标的形状)。

3.被动观察者概述

本节对所提议的被动监测系统的所有主要组件进行了集成概述。数字3(一个)显示了一个由两个RGB-D传感器、ChArUco校准道具/对象和一个常见场景组成的典型监控环境的视图。最初，两个传感器都有监测区域校准道具的全部或部分视图。在典型的监测应用中，传感器被放置在任何固定位置，校准支柱可以在初始步骤后移除。数字3 (b)显示了通过其中一个传感器的RGB视图识别的校准道具的示例。该图像还显示了位于道具左下角的分辨率世界坐标框架。该坐标系还用于重建实际场景的虚拟模型。在本例中，红色、绿色和蓝色用于指定相应的世界坐标框架的轴。数字3 (c)显示后续校准过程，用于将世界坐标的单位与监视区域的物理维度(即，像素与现实世界的关系)关联起来。设置需要输入从墙壁、天花板和地板到校准道具原点的距离，单位为米。

数字4所提出的被动观测器系统的总体流程图。如上所述，在传感器网络的初始校准之后，在每个监测周期的开始，传感器网络捕获、检测、分类并计算场景中任何已知物体的位置。利用传感器网络的校准参数，可以确定被检测物体相对于彼此的相对位置(这就是所谓的物体的检测和定位)。所提出的目标检测和定位系统处于空闲状态，直到在传感器网络场景中检测到老年人的存在。在没有任何运动的情况下，系统进入下一个目标检测和定位阶段，直到再次在场景中检测到老年人的运动。

4.案例研究

我们研究了提出的新型集成系统的性能，使用与老年人典型生活环境相关的几个监测区域。下面，我们将介绍两项与客厅和厨房相关的研究。本研究的主要目的是证明采用被动观察系统的可行性，该系统可被用作家庭成员或护理人员查看的活动摘要。为了演示我们实现的概念证明，我们使用了与YOLO实现的发布版本相关的现有数据集。

4.1.客厅

本案例研究调查了老年人进入监测区域之前和之后客厅环境中物体的检测和定位(图5)．

例如，图6显示与此案例研究相关的一系列屏幕截图，用于在监控区域检测到人员的存在。数字6(一)显示当有人出现在客厅。拿着笔记本电脑的人走近non-italics沙发电视机遥控器的位置(图6 (b))．然后，这个人坐下来，把遥控器从左边移到右边6 (c))．这个人打开他的笔记本电脑，然后离开监控区域，同时把笔记本电脑放在沙发上(图6 (d))．

然后，根据所提出的方法，在监测区域的组合校准虚拟现实点云模型中对被检测对象进行分割。基于被检测物体的位置和类型，利用基本几何形状创建简单的虚拟摘要场景。这个简单的场景可以被家庭成员或护理人员用作事件前后的视觉总结。

如前所述，在本案例研究中，手持笔记本电脑的人走进客厅的监控区域。在人进入房间之前，最初检测到的物体是沙发、盆栽、电视显示器和沙发上的电视遥控器(图6)．数据7(一)而且7 (c)在左右传感器中显示初始检测到的对象。拿着笔记本电脑的人走进房间，在一株盆栽前停下来，然后把电视遥控器移到沙发中间，最终坐到沙发上。过了一会儿，这个人离开客厅的监控区域，把笔记本电脑放在沙发上。数据7 (b)而且7 (d)在老年人离开监控区域后，显示检测到的物体。

数字8显示当老年人离开房间时客厅校准虚拟点云重建的两个视角的示例。该图还显示了如何使用检测到的对象从监测区域分割两个传感器的合并点云。对彩色分段点云进行注释，以便更好地显示(a)在检测到人的存在之前物体的初始位置，(b)在先前检测到的物体已经移位的情况下物体的最终位置，以及(c)在初始场景中没有检测到任何新物体的存在。图中还显示了场景中从最初检测到最终检测到的人的简化运动轨迹(以粉红色显示)(该轨迹信息不用作本文分析的一部分)。

数字9显示监控区域的简化虚拟现实场景。这个简化的模型给出了场景的直观表示，其中分割的对象在真实场景中的实际位置由简单的形状表示。作为可视化体验的一部分，在前后场景中没有改变位置的物体表示为绿色阴影，在场景之间位置发生变化的物体表示为蓝色阴影，在场景中由老年人引入的物体表示为红色阴影。

4.2.厨房

监控区域是烤箱的视图，老年人进入场景并在加热元件上放置一个碗。与前面的案例研究一样，figure10- - - - - -13总结事件前后场景的检测、定位和虚拟重建。虚拟场景还显示了监测区域内老年人的部分运动轨迹。

5.场景分析

前一节演示了所提出的被动监测系统在使用来自多个传感器的RGB图像检测生活环境中的已知物体方面的可行性。它还展示了如何使用深度信息在校准的点云表示中使用传感器检测到的对象，以便进一步分割它们在场景中的相应位置。重建场景在定义之前和之后事件的图形摘要时的注释，例如，在图中9而且13对于开发与老年人的运动和活动相关的视觉分析是有用的。例如，根据老年人可以互动的对象的位置，可以开发各种故事板，以构建他们的整体活动。这种方法类似于语义叙事，语义叙事在其他各个领域都有研究[30.］．

在本文中，我们提出了一种基于RGB-D传感器网络中物体检测和定位获得的场景图分析的方法[31］．在计算机图形学中，场景图被定义为一种通用的数据结构，它安排了图形场景的逻辑和空间表示。例如，在开发虚拟训练或游戏环境时，用户需要与图形对象进行交互，为了确定图形对象之间的接触和交互实例，需要确定图形对象之间的相对位置[32］．在我们的研究中，图形场景中检测到的已知物体的信息是从实际场景中获得的。这些信息与对象类型以及它们相对于世界坐标系的相对位置有关，而世界坐标系可以与场景图相关联。例如，图14显示了与第一个案例研究相关的这种表示的示例。场景图是图中节点或树结构的集合，通常连接形成有向无环图(DAG)。节点由描述对象相对于父节点坐标的相对位置和方向的边连接。在图14，由校准道具/对象定义的世界坐标框架，用于表示物理监测区域及其虚拟模型重建的参考。图中为检测到的物体在客厅中定义的场景图。如前所述，这个房间由5个不同的物体表示，这些物体是根据从传感器获得的RGB信息在初始场景中检测到的(在检测到运动之前)。这些被检测的对象是电视、植物、沙发、笔记本电脑和遥控器。通过YOLO对象检测实现，每个RGB传感器都对这些对象的整体检测做出了贡献。在深度传感器的合并点云中对被检测物体进行分割，计算其代表点在分割点云中的空间位置信息。通常，场景图的边表示图形对象相对于父节点的参考坐标的位置和方向。在最初的研究中，我们利用了相应节点之间的相对位置(距离)。

参考图14，深色有向边表示被检测物体相对于校准世界坐标框架的位置。类似图1，箭头方向表示箭头头部所指定的对象相对于箭头尾部所定义的对象的框架的相对位置。彩色箭头表示物体相对于其他物体的相对位置，可以使用绝对位置描述来计算。例如，由于遥控器和笔记本电脑都在沙发上，可以使用彩色箭头的位置描述将沙发、笔记本电脑和遥控器聚集在一起。所提出的场景分析的主要思想是确定在事件前后是否有任何被检测到的物体被移位或移除。这可以通过计算每个物体相对于世界参考系的欧氏距离来实现。在同一检测对象的前后距离小于预定义阈值的情况下，可以得出该对象没有移动的结论。相反，如果到世界坐标原点的距离差大于某个预定义值，则可以说该物体被老年人移动了。如果事件检测前后场景图的节点描述存在差异，即通过对比图结构，可以假设老年人进入和离开监控区域的事件之间增加了新的对象或带走了新的对象。

表1而且2显示与上述案例研究相关的每个检测对象的分段点云相关的中心点的坐标。根据基本的距离计算，可以识别每个监测周期之间由老年人处理的对象。还表明，通过简单地比较事件前后的场景图表示，也可以确定是否有任何新的对象添加或从监控区域移走。

从案例研究一中事件前后物体的位置估计可以看出(表1)1)和距离计算，可以看到移动了遥控器，添加了笔记本电脑。在案例研究二中，对比事件前后物体的位置，可以看出在这个监控周期中，碗被添加到了场景中。

6.结论

支持活跃长者的独立生活或生活方式，有助增强他们自给自足的意识，并可为他们提供更好的经济选择。为了支持这种选择，需要一个全面的设计，以使这种选择成为各种辅助或社区生活环境的可行选择。监测运动和活动可以是这样一个系统的主要组成部分之一，它可以在支持独立生活方式方面发挥核心作用。这种部署的主要要求之一是保护隐私的详细程度。本文提出了一种可作为监控系统一部分的方法。它由校准的RGB-D传感器网络组成，可以部署在老年人的各种生活空间。作为一种选择，该系统只能在老年人出现在监控区域时被激活，并且只有物体的放置才能用于进一步推断预期的活动。这样，就不会收集老年人的任何信息。必威2490该系统经过训练，可以检测与老年人生活环境相关的各种物体。利用物理维度，系统可以在虚拟场景中重建，基于具有精确表示的对象位置的监控空间。 Using the scene graph analysis, the system can further infer if any of the objects has been displaced by the older adults while being in the monitoring area or if any objects has been introduced or taken away from the scene. A simplified annotated virtual scene can be used by caregivers or family members in order to give some indications regarding possible activities of older adults. Combined with other passive information which can be obtained through smart home network, it can be possible to create a complete storyboard of movements and activities of older adults without disclosing any visual information that can be considered as personal.

本文的案例研究假设，当老年人不出现在场景中时，事件数据可以从各种不相关的场景或其他被动传感器收集(为了演示本文，我们使用了视觉跟踪算法来获得运动的空间轨迹)。此外，只使用关于物体运动或物体之间相对运动的一些全局分类的信息。例如，从虚拟重建的场景图表示，可以进一步推断对象之间的因果关系。必威2490例如，在图中14，一组物体可以关联在一起，要么属于同一个附近，要么有一些因果关系，比如一个物体在另一个物体的上面(这在红色三角形内显示，可以推断遥控器和笔记本电脑都在沙发上)。系统的整体精度取决于许多因素。这些可以是监控区域的照明条件，目标检测的准确性，以及点云的分割，以创建视觉摘要。例如，在生活空间中存在相同物体的情况下，需要进一步实现决策算法来区分它们。为了解决任何遮挡问题，本文的方法实现了两个传感器。但是，如果存在从两个传感器的视野中遮挡物体的情况，则需要在监视区域部署第三个或更多额外的传感器。

本文的方法可以进一步推广到儿童或幼儿在室内环境中的监测。根据需要的详细程度，可以加强生活空间中的各种监测区域，收集有关老年人与物体的姿势和互动模式的更多细节[33］．这种设置的例子是餐厅餐桌的俯视图，其中放置了校准的RGB-D传感器网络。该装置可作为中风康复的一部分，用于监测用餐时的抓取和操作。对象的分段点云可以用它们的CAD模型进一步细化，以增加关于如何以及在何处掌握对象的细节级别。

数据可用性

与分割和重建场景相关的数据可从作者那里获得。

利益冲突

作者声明，本文的发表不存在任何利益冲突。

致谢

本研究由西蒙弗雷泽大学和加拿大自然科学与工程研究委员会资助。

参考文献

1. “考虑适当的老龄化，必威2490加拿大政府，”2020年7月https://www.canada.ca/en/employment-social-development/corporate/seniors/forum/aging.html．视图:谷歌学者
2. “适当的老龄化:在家变老，国家老龄化研究所，”2020年7月https://www.nia.nih.gov/health/aging-place-growing-older-home．视图:谷歌学者
3. L. M. Orlov，“老化技术，2019年市场评论”，2020年7月https://creneaupaapa.uqam.ca/wp-content/uploads/2019/07/Market-Overview-2019-Final-03-2019.pdf．视图:谷歌学者
4. 医疗保健，第7卷，no。2, 2019年第60页。视图:出版商的网站|谷歌学者
5. M. Uddin, W. Khaksar和J. Torresen，“老年人护理和独立生活的环境传感器:一项调查”传感器，第18卷，no。7，第2027页，2018年。视图:出版商的网站|谷歌学者
6. Q. Zhang, M. Karunanithi, R. Rana和J. Liu，“使用环境放置传感器确定独立生活老年人的日常生活活动”，在IEEE工程医学与生物学会论文集，日本大阪，2013年。视图:出版商的网站|谷歌学者
7. P. Rashidi和A. Mihailidis，“老年人环境辅助生活工具的调查”，IEEE生物医学与健康信息学杂志，第17卷，no。3, pp. 579-590, 2013。视图:出版商的网站|谷歌学者
8. a . Avci, S. Bosch, M. Marin-Perianu, R. Marin-Perianu和P. Havinga，“在医疗保健、健康和体育应用中使用惯性传感的活动识别:一项调查”，在第23届国际计算系统架构会议论文集，德国汉诺威，2020年。视图:谷歌学者
9. H.-B。张,y。Zhang, B. Zhong等人，“基于视觉的人类动作识别方法的综合调查，”传感器，第19卷，no。5，第1005页，2019年。视图:出版商的网站|谷歌学者
10. 梁B.和郑L.，“利用深度传感器进行人体动作识别的研究”，在数字图像计算国际会议论文集:技术和应用，阿德莱德，SA，澳大利亚，2015。视图:出版商的网站|谷歌学者
11. S. Maryam, D. Rasouli和S. Payandeh，“一种用于睡眠姿势估计的新型深度图像分析”，环境智能与人性化计算杂志，第10卷，no。5，页1999-2014,2019。视图:出版商的网站|谷歌学者
12. M. Rasoulidanesh, S. Yadav, S. Herath, Y. Vaghei和S. Payandeh，“使用RGB-D进行人类跟踪的深度注意力模型”，传感器，第19卷，no。4，第750页，2019年。视图:出版商的网站|谷歌学者
13. X. Liu和S. Payandeh，“RGB和深度传感中的链式随机跟踪研究”，控制科学与工程学报《中国科学院学报》2018年第4期，页码2605735页。视图:出版商的网站|谷歌学者
14. C. Zhang和Y. Tian，“基于RGB-D摄像头的日常生活活动识别”，计算机视觉与图像处理杂志，第2卷，no。4、2012。视图:谷歌学者
15. S. Payandeh，“与老年人相关的运动科学的细节水平”，在IEEE控制、自动化、机器人与视觉国际会议论文集，新加坡，新加坡，2018。视图:出版商的网站|谷歌学者
16. L. Boise, K. Wild, N. Mattek, M. Ruhl, H. H. Dodge和J. Kaye，“在接触到不显眼的家庭监控后，老年人愿意分享数据和隐私问题。”Geron，第11卷，no。3，第428-435页，2013。视图:出版商的网站|谷歌学者
17. A. McNeill, P. Briggs, J. Pywell和L. Coventry，“老年人对普遍健康监测系统的功能隐私担忧”，在必威2490辅助环境相关普及技术国际会议论文集，第96-102页，罗德岛希腊，2017年。视图:出版商的网站|谷歌学者
18. C. Debes, A. Merentitis, S. Sukhanov, M. Niessen, N. Frangiadakis和A. Bauer，“智能家居中的日常生活活动监测:理解人类行为”，IEEE信号处理杂志，第33卷，no。2，页81-94,2016。视图:出版商的网站|谷歌学者
19. J. Redmon, S. Divvala, R. Girshick和A. Farhadi，“你只看一次:统一的，实时的物体检测”，在计算机视觉与模式识别会议论文集，页779-788，拉斯维加斯，NV，美国，2016。视图:谷歌学者
20. R. Tsai，“使用现成的电视摄像机和镜头进行高精度3D机器视觉测量的多功能摄像机校准技术，”IEEE机器人与自动化杂志，第3卷，no。4, pp. 323-344, 1987。视图:出版商的网站|谷歌学者
21. Z. Zhang，“一种灵活的相机定标新技术”模式分析与机器智能汇刊，第22卷，no。11, pp. 1330-1334, 2000。视图:出版商的网站|谷歌学者
22. Y. Lu和S. Payandeh，“多摄像头跟踪系统的哑铃校准”，见加拿大IEEE电子与计算机工程会议论文集，页1472-1475，温哥华，BC，加拿大，2007。视图:出版商的网站|谷歌学者
23. Y. Lu和S. Payandeh，“球体图像相机标定的灵敏度分析”，计算机视觉与图像理解“，，第114卷，no。1, pp. 8-20, 2010。视图:出版商的网站|谷歌学者
24. J. Wang和S. Payandeh，“校准摄像机网络中的手部运动和姿势识别”，多媒体的进展《中国日报》，2017年第1期，第2期，25页。视图:出版商的网站|谷歌学者
25. J. Krumm, S. Harris, B. Meyers, B. Brumitt, M. Hale和S. Shafer，“EasyLiving的多摄像头多人跟踪”，见第三届IEEE视觉监控国际研讨会论文集，都柏林，2000年。视图:谷歌学者
26. X. Dai和S. Payandeh，“多摄像头监控中基于几何的物体关联和一致标记”，IEEE电路与系统新兴与选定专题杂志，第3卷，no。2, pp. 175-184, 2013。视图:出版商的网站|谷歌学者
27. 高志强，Yu Y.， Zhou Y.和S. Du，“利用两个kinect传感器进行精确的全身动作捕捉，”传感器，第15卷，no。9, pp. 24297-24317, 2015。视图:出版商的网站|谷歌学者
28. “OpenCV, ArUco和ChArco校准”，2020年3月https://docs.opencv.org/master/da/d13/tutorial_aruco_calibration.html．视图:谷歌学者
29. M. Tan, R. Pang和Q. Le，“EfficientDet:可伸缩和高效的物体检测”，在计算机视觉与模式识别会议论文集，页10781-10790，西雅图，华盛顿州，美国，2020。视图:出版商的网站|谷歌学者
30. G. Rehm, K. Zaczynska和J. Moreno-Schneider，“语义讲故事:在大量文本内容中识别故事线”，在Text2StoryIR研讨会论文集，德国科隆，2019年。视图:谷歌学者
31. 许德德，朱元勇，蔡崇杰，L.飞飞，“迭代消息传递生成场景图”，在计算机视觉与模式识别，， 2017年，夏威夷檀香山。视图:谷歌学者
32. S. Payandeh，“医学和生物科学的多模式灵巧训练界面设计”，临床实践游戏化的整体视角，IGI全球, 2015年。视图:谷歌学者
33. Z.-Q。赵培生，郑培生。Xu和X. Wu，“深度学习的目标检测:综述”IEEE神经网络与学习系统汇刊，第30卷，no。11, pp. 3212-3232, 2019。视图:出版商的网站|谷歌学者

betway赞助

betway赞助版权所有©2020 Shahram Payandeh和Jim Park。这是一篇开放获取的文章，在创作共用署名许可协议它允许在任何媒介上不受限制地使用、传播和复制，前提是正确地引用原始作品。