快消息！基于驾驶员视觉行为的智能多元传感系统

了解随着年龄的增长，视觉和注意力行为的变化如何影响驾驶，仍然是研究界研究的课题。然而，很少有人关注使用传感和人工智能技术进行此类研究。本文提出了一个多源的智能传感系统，它能以98%的准确率推断出与五个汽车驾驶舱区域相关的视觉注意（VPoA）。VPoA是由惯性传感器和面部识别应用程序捕获的头部运动的俯仰、偏航和滚动角度推断出来的。该系统还包括一个基于平板电脑的应用程序，该系统自动收集来自驾驶环境的数据，例如，速度和位置。它还使注释器能够观察到的驾驶员行为，例如与乘客的交互。我们对15名年轻人和15名老年人进行了一项自然研究，以证明该系统在识别视觉行为模式方面的功效，这些模式与以前使用传统数据收集方法的研究中所确定的模式相似。一个新的发现是，如果有乘客在场，年轻组比老年组更频繁地看腿部。腿部是与使用手机相关的VPoA。

I.引言

(相关资料图)

诱发视觉分心的次要工作是导致驾驶者撞车的主要原因，与他们的年龄无关。视觉分心是一种注意力不集中，被定义为由于执行次要活动而导致的视线偏离，导致视线偏离道路。了解随着年龄的增长，视觉和注意力行为的变化如何影响驾驶，仍然是医学、工程和社会科学等相关领域研究界的一个课题。研究视觉行为有助于确定进一步改进技术的领域，例如开发需要低量工作负荷的信息娱乐系统和在自动驾驶期间吸引视觉注意力的警报系统。然而，很少有人关注使用智能传感技术来收集驾驶员的视觉注意力以进行此类研究。

观察性研究主要使用摄像机和眼球追踪器来收集数据，这涉及到人类观察员对视频数据进行编码以识别视觉干扰。例如，通过分析一周内从 70 名不同年龄的司机拍摄的视频记录，可以确定，与视线向车外看相比，车内的分心与视线向车内看的增加更相关。同样地，一项对148名青少年和老年人进行的基于视频的观察研究显示，使用基于车辆的警告反馈系统并不会对进行次要工作的可能性有显著影响作用。最后，最近一项大规模自然研究的结果显示，与中年司机相比，做次要工作对30岁以下和65岁以上的司机来说，风险一直较高。研究还显示，老司机做次要工作的频率远远低于年轻司机。在上述作品中，编码是识别驾驶员与次要工作相关的视觉行为的一项基本任务。编码被认为是一项要求很高的任务，可能需要一个以上的训练有素的分析员来减少花费的时间和人为错误。该项目旨在开发一个有利于在自然研究中收集数据的传感系统，以了解司机的视觉行为。它支持实时收集司机的视觉注意点（VPoAs）和与驾驶环境相关的数据，如速度和道路类型。该传感方法基于两个前提:

1)头部姿势是预测驾驶员意图一个很好的指标，也是估算眼球注视的一个很好的代表。心理学家已经证明，头部运动与扫描信息的目光变化的关联并不限于大范围的目光变化；

表1

拟用平台来感知司机的行为数据

此外，头部运动与任务性能有关。也就是说，当提取信息的任务更加困难时，头部的移动会增加，这在年轻的读者（6-10岁的儿童）中很明显。同样地，在驾驶环境中，向特定区域扫视的发生和持续时间取决于任务的复杂性。

2)视觉注意点（VPoA）是主要和次要活动的适当提示。它是车辆驾驶舱内的一个区域，驾驶员由于注意力转移而调整头部方向。例如，主要任务可能包括查看侧后视镜和窗户区域。而次要任务可能是低头使用手机或与广播、乘客互动。

本文提出了一个智能多源传感系统，它结合了一个单一的可穿戴的惯性传感器和一个手机摄像头来收集头部的俯仰、偏航和滚动角度。该系统的智能在于其通过k-NN算法从这些角度进行VPoA，该算法是一种监督式机器学习技术。该系统还包括一个平板电脑应用程序，用于自动收集驾驶环境数据，如速度，以及由人工注释者输入的数据，如在红色交通灯前停车。本文的贡献在于:

•一个多源传感系统，与仅有摄像头的方法相比，能提供最高的VPoA预测精度，并包括便于收集驾驶环境数据的组件;

•对基于k-NN的单个模型进行验证和实时测试，以便从驾驶员的偏航、俯仰和滚动头部运动中推断出VPoA;

•一项自然研究证明该系统在识别年轻人和老年人的视觉行为模式方面的有效性，类似于以前使用传统数据收集方法的研究中所识别的模式;

•发现扫视次数与有/无乘客驾驶之间的新关系，包括发现年龄组之间的显着差异。

本文的其余部分介绍了相关工作（第二节）、理论背景（第三节）、系统功能（第四节）、系统推理模型的评估（第五节）、为证明系统功效而进行的研究方法（第六节）及其结果（第七节），最后是我们的结论（第八节）。

II.相关工作

已经提出了几个传感平台（见表一）来检测分心行为，分类为视觉行为、次要任务和危险驾驶。其中一些平台支持感知与推断分心有关的驾驶环境，并了解分心发生的背景。驾驶环境包括以下数据：i）车辆动态，如速度、位置、刹车、车道位置和转向角度；ii）驾驶员动态，如头部姿势、身体姿势、眼球运动和生物信号。

参考文献[14]提出了一个基于云的传感架构，通过智能手机的传感器收集和存储驾驶数据。其目的是促进驾驶环境数据的收集，以生成出行的统计报告，帮助第三方，如开发人员，识别危险情况。它利用摄像头来跟踪和存储司机的头部旋转/倾斜角度、眼球的比率和嘴巴的张开程度。它还使用GPS和IMU传感器来确定速度、加速度，并使用一个麦克风来记录噪音水平。参考文献[15]提出了一个自动模糊集优化的框架，该框架从通过多种来源获得的两类背景数据中估计危险驾驶的强度。具体来说，它使用摄像头、惯性测量单元和车载诊断仪来收集基于动态车辆的驾驶环境，如速度、车道偏离和车道坡度。另外，通过智能腕带和心率监测传感器，可以识别驾驶员的情况，如情绪。一个模拟各种道路场景的实验表明，结合两种类型的环境使框架比只使用一种环境更有利地运作。

其他工作探讨了推断次要任务的感应方法和算法。例如，在文献[16]中，通过使用随机森林（RF）算法，输入驾驶模拟器获得的车辆动态数据，如转向角和速度，推断出发短信的准确率为85.38%，吃东西的准确率为81.26% 在[17]中，两个可穿戴的惯性测量单元（IMU）被用来量化司机的躯干和手腕运动，通过使用卷积神经网络（CNN）检测五个次要任务，准确率为87%。推断出的活动包括喝水、发短信、打手机、使用触摸屏和把记号笔放在杯架上。由于实验是使用驾驶模拟器进行的，因此推断结果并未反映车辆运动对 IMU 测量的影响。由于最不明显的任务是用手机交谈，作者开发了一种基于图像的方法，它结合了一个用于物体检测的深度神经网络和一个多层感知器，

从耳朵和手的相关区域推断出司机的状态，其准确率为59%。

其他工作也探索了不同的传感方法和推理方法来识别视觉注意力（见表二）。例如，在[19]中，作者探索了几何方法，如受限局部模型、象形结构模型、正字法和缩放技术（POS），以从面部特征生成的三维头部模型中识别俯仰、偏航和滚动。通过在自然驾驶过程中收集的数据集，所提出的方法可以在 96% 的时间内可靠地跟踪头部运动，而俯仰角是最难确定的角度，因为它比偏航和滚动呈现更多的误差。

与我们的工作类似，一些研究集中于从头部方向的角度推断出视觉注意力的区域。参考文献 [20] 提出了一种基于几何的新方法来实时检测视线偏离道路 (EOR)。它通过对安装在方向盘柱子上的摄像头捕捉到的面部特征进行3-D几何分析，估计头部姿势和视线注视。在测试参与者将目光投向车辆挡风玻璃和驾驶室的18个区域的情景时，它达到了90%以上的EOR准确性。参考文献[21]提出了一个头部跟踪系统，该系统使用两个前置摄像头来捕捉头部姿势的静态特征（俯仰、偏航、滚动、面部中心和嘴部区域）和头部动态特征（平均角速度）。通过随机森林（RF）分类器，作者确定，与只使用静态特征（85.7%）相比，结合头部姿势动态特征，可以提供更好的性能（93%）来识别车辆驾舱内的7个区域。在 [22] 中，Choi 等人探索了用于虹膜跟踪的 Haar 特征人脸检测器和 MOSSE 过滤器。之后，卷积神经网络 (CNN) 将图像分类为九个不同的凝视区域，准确率达到 95%。结果发现，推断驾驶员倾向于改变眼睛方向而不是头部的区域（例如后视镜），错误率最高。在[23]中，提出了一个基于深度神经网络（DNN）的注视检测系统来估计多达8个注视区。用相机收集的头部姿势角度和眼部标记，被输入到DNN中。作者收集了道路上的数据，以证明该模型的通用性，并采用了省略一个司机的交叉验证技术。获得的准确率为86.5%。他们还分析了包括指示司机正在看哪里的车辆信号的可行性，这将准确率提高到92.3%。然而，作者没有具体说明可以使用什么类型的车内传感器。在[24]中提出了减少当收集大型数据集来训练一个推断视觉注意力的模型时注释工作的建议。为此，转移学习方法与预先训练好的CNN模型一起使用，通过在移动设备上回归来进行注视评估任务。为了验证这一方法，从模拟环境中用手机摄像头拍摄的图像中提取出的驾驶员面部和眼部特征推断出10个驾驶员注视区。获得的准确率为60.25%。然而，这项研究缺乏实时测试和使用额外的传感器来收集可用作基本事实的可靠数据集。

表2

提出的检测驾驶员视觉行为的方法

参考文献[25]提出了一种基于外观的头部无姿势的眼睛注视预测方法，用于驾驶员注意力区域的估计。作者应用随机森林技术将从数据库中获得的头部矢量和眼睛图像分类为 18 个驾驶员的注视区域。整体准确率为92.61%，预测部分挡风玻璃区域的准确率最低。如表二所示，基于摄像头的技术提供了高精确度的结果; 然而，当司机的脸被遮挡、大幅旋转或光照变化时，它们不够可靠。使用IMU可以克服摄像机系统持续跟踪头部姿势的局限性，反之亦然。正如下一节所解释的，这些技术中的每一项都可以抵消另一项的局限性。因此，我们提出了一种结合IMU和摄像头的新方法，形成了一个实用的传感系统，它能捕捉可靠的头部方向角度，以预测司机的视觉注意点（VPoA），其准确度高于其他系统。

III.VPOA感知和推断方法

A.头部方位多源传感

人的头部方向是用俯仰、滚动和偏航运动来描述的，这些运动分别在其纬线（X）、纵线（Y）和垂直（Z）轴上进行（见图1a）。这些轴与通常称为 X、Y 和 Z 轴的参考系进行比较，以定义头部方向。欧拉角被用来量化这种比较，因为它们表达了一个关于固定坐标系的硬性方向。如图 1.b 所示，θ 是俯仰角或欧拉 X，φ 是滚动角或欧拉 Y，ψ 是偏航角或欧拉 Z。为了量化头部三个自由度的方向，我们建议在司机的头部安装一个IMU传感器，在方向盘上安装一个前置摄像头。每种方法都有以下优点和局限性。

正如 Tawari 和 Trivedi (2014)所确定的，偏航角 (Euler Z) 是最相关的推断角度，因为驾驶员在关键时刻（例如车道变换和右/左转）容易做出较大的头部运动。

图1 身体的定向系统：a）轴和旋转运动。

b) 相对于地球的欧拉角。

然而，当使用基于摄像头的系统时，自动闭合阻碍了面部特征的可见性，影响了对头部方向的估计，特别是在俯仰方面。根据一项报道，计算机视觉（CV）技术在跟踪驾驶员头部的偏航和滚动角度时比在俯仰角度时更准确。因此，目前的CV开放存取库提供了可靠的偏航和滚动测量，但在检测俯仰角（欧拉X）方面受到限制。

另一方面，IMU 可以有效地估计驾驶员的俯仰和滚动，但由于它使用地球作为参考系，因此无法提供对偏航角 (Euler Z) 的准确估计。因此，即使司机没有大幅移动他/她的头部，车辆的左转和右转也会影响头部方向在其垂直Z轴（偏航）上的估计。为了弥补现有CV技术的局限性，我们在驾驶员的头上安装了一个IMU装置，它能提供可靠的俯仰和滚动估计。

因此，我们使用多源检测方法来捕捉司机的头部方向特征，以与俯仰、偏航和滚动有关的欧拉角给出。

B.个体化推断法

我们使用K-NN算法（k-NN）来建立由头部运动产生的欧拉角和观察到的VPoA之间的关系。k-NN可以很容易地实现个性化，因为它的训练阶段包括收集和存储一组训练样本和相应的类标签。同时，其他技术需要收集训练样本并进行训练阶段，以生成映射函数或推理模型。

由于不同的因素可能会影响看VPoA所需的头部移动量，如司机的身高、驾驶风格或视觉处理速度，而视觉处理速度会随着年龄的增长而受到影响，我们决定在我们的传感平台中加入个性化的推理模型。k-NN的个性化为我们的传感平台提供了优势，可以轻松配置，对不同人群进行研究。此外，k-NN 是一种易于实现的机器学习 (ML) 方法，在我们之前的研究 [31] 中表现出高性能，该研究将一组分类器与在受控驾驶条件下收集的数据进行了比较。相比之下，在目前的工作中，我们评估 k-NN 以实现 VPoA 的实时推断。

图2 通过传感系统检测到的VPoA

图3 通过传感系统检测到的VPoA

C.视觉注意点 (VPoA)

本研究确定了车辆驾驶舱的五个区域（见图2），与执行主要和次要任务有关。道路被视为主要的VPoA，因为它是司机通勤时关注的主要焦点。左边和右边的VPoA用于监控后视镜。当司机与前座乘客进行视觉互动时，也使用右边的VPoA。无线电/温度和腿部 VPoA大多与更换收音机和用手机阅读/发短信分别有关。

IV.系统的设计和实施

如图 3 所示，系统架构包括三个子系统，托管在专用硬件上，用于在自然研究期间收集数据: 数据收集应用（DCA）、姿态和航向参考系统（AHRS）和面部识别应用（FRA），它们通过蓝牙进行通信。它还包括MATLAB应用程序，用于处理所收集的数据，以便进行后期分析。

A.姿态和头部参考系统 (AHRS)

AHRS安装在驾驶员的头上，为DCA提供俯仰AHRS（欧拉X）和滚动AHRS（欧拉Y）的角度。它由 IMU 传感器组成，即陀螺仪、加速度计和指南针。AHRS是Yost实验室的3空间传感器™迷你蓝牙，它包括一个专有的过滤算法（QGRAD2™）来估计俯仰和滚动。它的尺寸为 30 毫米 x 30 毫米 x 13 毫米，重 9 克，电池续航时间为 4 小时。

图4 DCA的用户界面，用于收集：(a)参与者信息。

(b)训练数据；(c)，(d)驾驶环境，以及(e)标记的数据，以验证VPoA推理组件

B.人脸识别应用 (FRA)

FRA组件为DCA提供驾驶员头部的滚动FRA（欧拉Y）和偏航FRA（欧拉Z）值。FRA是在Android Studio v3.5和API 16（Jelly Bean）上开发的，并部署在谷歌Pixel手机上，该手机必须放置在司机面前，摄像头对准他们。FRA 使用 CameraView v2.6.1来捕获和处理视频流帧，并使用 SDK ML Kit for Firebase通过计算机视觉 (CV) 技术估计头部方向。这个SDK允许FRA通过处理一组与脸部椭圆（1个特征）、眼睛（2个特征）、眉毛（4个特征）、嘴唇（4个特征）和鼻子（2个特征）相关的面部特征，以欧拉角的方式提取给定视频帧上的头部方向。

C.数据收集应用 (DCA)

DCA是主要的子系统，旨在从AHRS和FRA组件收集数据。它是使用 API 19 (Kit Kat) 在 Android Studio v3.5 上开发的移动应用程序，并在 Google Nexus 平板电脑上执行。由于k-NN需要访问一组训练样本来对输入数据进行实时分类，我们定义了两种收集数据的模式: 训练模式和驾驶行为模式。因此，根据所选择的模式，不同的DCA的组件被激活。

在训练模式下，DCA被用来创建k-NN算法所需的训练数据集，以推断出驾驶过程中的VPoA。在这种模式下，研究的注释者应该打开DCA应用程序的图形用户界面（GUI）来收集和标记数据。首先，他/她将看到参与者注册组件的图形用户界面，选择以前注册的参与者或注册一个新的参与者（见图4a）。然后，呈现训练组件的 GUI（见图 4b），使注释器能够开始收集数据。

图5 收集的图元作为训练数据

注释者应首先从列表（1）中选择一个VPoA，并要求参与者在特定的时间内将头部对准它。注释者点击 "收集 "按钮（2），从AHRS和FRA组件收集报告。因此，包含俯仰AHRS、滚动AHRS、滚动FRA、偏航FRA和注释者指定的VPoA标签的数据元组被存储起来（见图5）。若要停止收集它们，注释者应再次点击 "收集 "按钮。上述过程需要对每个VPoA进行重复。为了完成数据收集过程，注释者应保存(3)数据以生成训练数据文件。之后，呈现下一个屏幕（4），启动驾驶行为模式。

在驾驶行为模式下，DCA实时推断驾驶员的VPoA（即在驾驶过程中）并收集驾驶环境数据。为了达到这个目的，注释者应该使用图4c所示的图形用户界面。通过点击 "收集 "按钮（5），驾驶环境数据收集组件开始收集来自AHRS和FRA组件的报告，并发送给VPoA推理组件。它通过使用训练数据文件的 k-NN 算法将传感器的报告分类为 VPoA。驾驶环境收集组件接收每个推断出的VPoA，同时获得驾驶环境数据，即来自GPS的车辆速度、纬度和经度。在驾驶过程中，注释者可以通过在GUI中选择相应的图标来表明驾驶员是否进行了以下动作（见图4c）: 直线行驶（6），右转（7）和左转（8），换线（9,10），停在交通红灯上（11），停车（12），与乘客（13）或不与乘客（14）进行视觉互动。我们还用一个罗技游戏手柄F310扩展了这个图形用户界面，它通过USB On-The-Go连接到谷歌Nexus平板电脑上，可以选择用来标记收集的数据（见图4d）。在上述DCA的组成部分中产生的数据按其各自的时间戳进行索引，并以CSV格式存储在驾驶行为数据文件中。注释者通过再次按下 "收集 "按钮来结束驾驶环节（5），然后（15）将驾驶行为数据文件上传到电脑上，供系统的MATLAB应用程序处理并准备进一步分析。

D.MATLAB 应用

在驾驶过程中收集的数据（CSV格式的驾驶行为数据）应下载到电脑上，由以下用MATLAB R2019b的A

pp Designer工具实现的应用程序来处理。

1)预处理工具: 它将经纬度坐标映射为道路名称和类型，并将速度从m/s转换为km/h单位（数据整理）。

图6 过滤工具的用户界面

该应用程序更正了 VPoA 列以进行数据清理，以解决推理期间的错误分类。它使用时间戳检查连续检测到 VPoA 少于 0.1 秒的时间窗口。然后，它将VPoA改为以前被认为是正确分类的VPoA。该工具的输出是CSV格式的加工行为数据文件，研究人员可以按照接下来的规定进行过滤。

2)过滤工具: 它提供了图6所示的图形用户界面，使研究人员能够选择条件来过滤视觉行为数据。例如，如果选择了一个特定的道路类型，该工具会显示参与者对该条件下的每个VPoA的注视数量和固定时间。输出的是CSV格式的过滤行为数据文件。

V.推理模型性能

在使用该系统对司机的视觉行为进行自然研究之前，我们评估了该系统的推理模型的性能。为了实现这一目标，我们招募了4名志愿者，他们的年龄从22岁到25岁不等，平均有5.25年的驾驶经验（SD=1.08），他们用自己的汽车参与了以下评估阶段。

A.验证

这个阶段的目的是用单独的训练数据集（每个参与者一个）来验证k-NN算法，这些数据集的收集不受车辆运动的影响。在训练模式下，使用系统收集每个参与者的训练数据集，采样率设置为50赫兹，车辆停放。因此，我们能够要求他们将头部朝向每个 VPoA 大约 5 秒，这使得每个 VPoA 类收集 M=233.45 (SD=12.70) 个元组，如表 III 所示。对于在此阶段进行的所有实验，我们使用了 10 倍交叉验证技术。我们使用完整的数据集（4,669个样本）来寻找k的最佳值（k=3），这是用欧氏距离参数得到的，因为它产生的错误率最小（见表四）；在之前的工作中也发现了类似的结果 。每个参与者的训练数据集的分类准确率为100%，这意味着实例在同一类别内非常相似，而在不同类别之间则有足够的差异，从而被错误分类（见图7a）。

B.实时检测

下一步是确定每个参与者生成的k-NN推理模型对来自传感。

表3 数据集的规模和推断的准确性 (ACC)

表4 每个距离度量和K参数对的分类损失

图7 混淆矩阵显示了数据集测试和实时验证过程中正确和不正确分类的实例（a）和（b）

器的新的和未见过的样本进行分类的准确性，这些样本与我们的自然研究中收集的样本相似。为了这个目的，参与者在驾驶行为模式下与系统进行了驾驶训练，实时推断VPoA。采样频率被设定为50赫兹。驾驶环节是在半控制的条件下进行的，以收集可靠的地面真实数据，同时保护参与者的安全。他们在一个空旷的停车场大约行驶了5分钟，

最高时速为20公里，由第一作者陪同进行指导。参与者能够自由地将汽车转到左边和右边。我们要求他们将头朝向每个VPoA的方向，最多重复2秒钟，直到该环节结束。参与者通过罗技游戏手柄F310收集地面真实数据，即按下游戏手柄上对应VPoA的按钮进行查看，当他们的注意力回到道路上时再按下按钮（见图4e）。因此，传感器的样本、推断的VPoA和参与者输入的标签被收集起来，以估计推断的准确性。在由48,218个样本组成的数据集中，VPoA推理组件的准确率达到了97.99%（见表三）。混淆矩阵（见图7b）显示，除道路外，在左边和其他VPoA之间，以及在右边和左边、右边和腿部之间，从未发生过错误分类。这是因为这些区域之间有很大的物理隔离，所以分类器没有将它们混淆。另一方面，大多数错误分类发生在相邻的区域之间，如道路与其他每一个VPoA以及带有音频/温度的右边。

VI.方法

我们进行了一项自然研究，以证明该传感系统在收集数据以识别驾驶视觉行为模式方面的功效。

研究表明，在正常的衰老过程中，所面临的身体和认知的退化会改变司机的视觉行为模式，并影响安全驾驶的能力。由于这个原因，人们对分析不同年龄段的人在不同驾驶环境下的视觉注意力差异很感兴趣。例如，与年轻司机（M=26.5 岁）相比，老年司机（M=67.5 岁）在交叉路口的扫描范围较小。另外，从事次要任务会增加青少年（16-20岁）、青年（21-24岁）和老年司机（74岁）的撞车风险，而且对于所有年龄段的人来说，具有视觉-手动需求的任务比认知导向的任务更容易增加危险。以前的研究工作促使我们对老年人和年轻人进行研究。

A.目标和成果措施

自然主义研究的目的是分析老年人和年轻人的视觉行为及其与驾驶环境的关联。我们定义了两个因变量来衡量视觉行为: 每个 VPoA 的扫视次数及其注视时间; 以及与驾驶环境相关的四个自变量：道路类型（住宅或主干道）、车速、驾驶状态（在直线车道上行驶或在红灯处停车）以及前排座位上是否有乘客。

B.纳入标准

参与者必须是活跃的司机，即经常开车并拥有有效的驾驶执照，年龄在18-29岁之间的人被列入最年轻的成人组，60岁或以上的人被列入最高年龄组。

图8 车辆驾驶舱内的设备设置

图9 参与者走过的路线：橙色为干线公路，蓝色为居民区道路

他们都被要求有一辆车用于研究中使用。年轻的司机是来自我们大学系的学生志愿者。老年人通过在社交媒体上分发的小册子和我们的联系人进行招募，并获得7美元的汽油费用补偿。我校心理学系的伦理审查委员会批准了这项研究。所有参与者都通过签署纸质表格和在参与者登记册GUI上签署口头和书面同意（见图4a）。

C.设备和驾驶场景

如图8所示，参与者戴着一顶帽子，上面连接着AHRS系统（1）。将 Google Pixel 手机放在驾驶员面前进行人脸识别 (2)。注释者使用谷歌Nexus平板电脑来登记司机的行动（3）。第二个平板电脑（4）也被安装指向司机，用于记录有时间戳的视频，以后可以在数据分析时查阅。可以选择使用游戏手柄来记录驾驶员的动作（5）。驾驶路线包括住宅区（6公里）和干道（12公里）的道路（见图9）。

D.程序和实验设计

在训练模式（车辆停放）下使用系统为每个参与者生成一个训练数据文件。接下来，注释者（第一作者）解释了驾驶场景，并要求被试者以他/她通常的驾驶方式，在遵守国家交通法规的情况下，驾驶两次赛道。这次驾驶的数据是使用驾驶行为模式的系统收集的。采集AHRS和FRA传感器的读数时，采样率设定为50赫兹，而GPS的数据则以1赫兹采集。在第一圈，驾驶员被允许与坐在前排乘客座位上的注释者保持闲聊。在第二圈中，注释者在后座上，交流仅限于在忘记路线的情况下向驾驶员回忆。

表5

参与者的人口统计和驾驶特征

注释者在GUI（如图4c所示）中检查司机的行动。该环节持续了40至60分钟，取决于一天中的时间和交通情况。

E.数据分析

用描述性统计计算器对收集的数据进行分析。我们使用Tukey"s fences来检测离群值（k=1.5）；通过t检验（两个独立的平均值，p=.05，双尾）来确定组间视觉行为（因变量）的差异; Wilcoxon Signed-Rank Test ( p=.05, two-tailed)分析同组受试者中自变量对因变量的影响，Pearson积矩相关系数评估变量之间的关系( p= .05)。确定相关水平的标准是：0|r|< 0.3为弱；0.3 |r|< 0.7为中等，|r|> 0.7为强。报告结果时采用APA风格。

VII.结果

A.参与者

参与者是15名21-77岁的年轻成年人和15名60-73岁的老年人，他们的平均驾驶经验分别为5.2年和47.33年。表五列出了其他参与者的特征和研究期间收集的数据信息。

B.各年龄组视觉行为的对比

1)小组之间的注视次数: 根据独立的t检验，我们发现在所有的VPoAs中，年轻的成人组在眼神数量上有显著的差异（见表六）。我们将这一结果归因于年轻司机（18-25岁）往往比老年人更多参与次要任务，包括使用手机和信息娱乐系统。

2)小组之间的注视持续时间: 由于老年人需要更多的时间来提取和处理信息，他们在道路、右边、左边和音频/温度区的凝视时间比年轻组更长（见表七）。从独立t检验中，我们发现道路和右路的组间差异有显著性; 以及左区和音频/温度区的非显著性差异。从这些VPoA来看，左区不仅是观看次数最多的区域，而且两组的观看时间都比较长。另一方面，年轻的成年人在腿部的注视时间要比年长的成年人长。该研究的视频显示，看腿部主要与手机阅读/发短信有关。因此，我们的结果表明，老年人避免与低头有关的次要活动（腿部和音频/温度）。根据其他研究，这些结果可能是由于这些VPoA需要更高的工作量或被认为是不相关的。研究发现，视线的固定时间取决于任务类型和任务的重要性，以及整体的工作负荷。例如，参考文献 [45] 的研究发现，年长的驾驶员在完成请求的浏览任务时分配了更多的视觉注意力，并盯着目标信息超过 2 秒，而年轻的驾驶员实际上根本不再看一眼。

表6

基于对每个vpoa的注视次数的平均值和标准差的组间分析

表7 基于对每个 VPOA 的浏览持续时间（秒）的平均值和标准偏差的组间分析

3)扫视次数与扫视持续时间的关系: 图 10 的散点图显示了每个参与者对 VPoA 的标准化平均扫视持续时间和扫视次数。Pearson 皮尔逊相关的结果表明，对于年轻的成年人（r (13)=-.93, p <.05）和年长的成年人（r (13)=-.90, p <.05）来说，扫视的时间和扫视道路区域的次数之间存在着强烈的负相关（图10a和b）。这些结果表明，观察道路区域时间较长的司机往往观察它的频率较低。

图10 (a) 年轻人和 (b) 老年人的扫视次数和扫视持续时间与道路的关系。年轻人 (c) 和 (d) 老年人的扫视次数与 VPoA 其余部分的关系。

反之亦然，那些更经常观察这一领域的人则是以较短的目光来观察。这种行为可以被解释为一种补偿机制，将足够的视觉注意力分配给道路和其他VPoA。根据参考文献[46]，这种补偿发生在执行次要任务时，因为如果任务更复杂，视觉要求更高，那么针对该任务的注视次数就会增加。同时，凝视的时间很短，经常持续不到2秒。

图10c)和d)描述了参与者在其余VPoA中的视觉行为，即眼睛离开道路。皮尔逊相关的结果表明，对于年轻的成年人（r (13)=.38, p <.05）和年长的成年人（r (13)=.58, p <.05）来说，两者的扫视持续时间和扫视次数之间存在中度关联。老年人的散点图（图10d）似乎比年轻人的散点图（图10c）更分散，他们的视觉注意力管理形式类似。我们将这些结果归因于老年人需要调整他们的视觉注意力管理以适应他们的认知和视觉技能，例如视敏度、信息处理能力和在两个任务之间切换的能力。

C.视觉行为与驾驶环境的关系

图11说明了速度是如何影响每组的视觉行为的。根据Pearson相关性，对于年轻的成年人（r (13)=-.73, p <.05）和年长的成年人（r (13)=-.88, p <.05）来说，瞥一眼的数量和速度之间存在着强烈的负相关（见7.2 a和b）。对于年轻人（r (13)=.94, p <.05 和老年人 (r (13)=.97, p=.05），平均扫视持续时间和速度呈正相关（见图 12 c 和 d） ）。因此，无论哪个年龄段，随着速度的增加，

图11 (a) 年轻人和 (b) 老年人对道路 VPoA 的速度和扫视次数之间的相关性；(c) 年轻人和 (d) 老年人的速度和扫视持续时间.

图12 在(a)车辆行驶中和(b)在红灯前停车时，有无乘客驾驶对扫视腿部的次数的影响；以及(c)在住宅和干道上驾驶对扫视的时间的影响

持续时间也会增加，但由于视觉注意力更集中在道路上，所以看的次数会减少。

用电话交谈或与乘客交谈已被确定为诱发分心的次要任务。尽管已经研究了乘客如何影响年轻司机的手机使用，

表8

对道路VPOA的平均扫视时间（秒）

在不同道路类型上驾驶

但没有研究量化司机对手机的视觉行为是如何受到乘客的影响的。因此，我们分析了在驾驶过程中，邻座的乘客对腿部 的浏览次数的影响，这是一个与使用手机有关的VPoA。我们发现年轻组（M=17，SD=19.12）比老年组（M=0.46，SD= 0.74）更频繁地看腿部（见图12a），不管他们是否有乘客。根据独立样本t检验，有一个显著的差异（t(28)=3.33, p <.05）。同样地，在红色交通灯下，老年人避免分心去看腿部。同时，Wilcoxon Signed-Rank测试表明，年轻的成年人对它的注视次数明显增加（Z=-1.88，p <.05）（见图12b）。我们的视频观察证实，他们主要使用手机发短信。

最后，我们的结果显示，在居民区和干道上开车时，老年人注视道路的时间在统计学上比年轻人长（见表八和图12c）。然而，所有参与者在干道上行驶时的凝视时间都比在住宅区时更长。从Wilcoxon Signed-Rank测试中，我们发现老年人（Z=-3.40，p <.05）和年轻组（Z=-3.40 p <.05）在道路类型之间的瞥视时间有显著差异。由于允许在干道上的驾驶速度比在住宅试验中更快，上述结果与图11中的相关性有关。也就是说，随着速度的增加，扫视道路的时间也延长了。

VIII.结论

本文提出了一种新的 IMU 和相机传感器的使用和组合，以在其三个自由度上检测头部方向。我们的分类结果优于通过其他方法获得的结果（见表二），我们将其归因于传感器的组合，以获得可靠的头部角度，包括那些代表观察腿部和右VPoA所需的大型头部运动。然而，我们需要进行更多的实验来评估该模型推断额外的VPoA的性能，并确定其在遮挡和各种光线条件下的效率。其他工作表明，当汇总一些相邻的视觉区域或不考虑特定的挡风玻璃区域，如中心挡风玻璃时，准确性会增强。此外，由于我们的方法使用了个性化的训练数据集，它取得了高准确率的结果。

该传感系统的主要优势在于，对不同的研究对象进行个性化的推断模型是切实可行的。这个优势是因为与基于深度学习的方法相比，使用 k-NN 是一种基于实例的学习类型，需要小的训练数据集。我们计划用其他近邻技术进行实验，如聚类k近邻，以克服收集训练样本分布稍有不均的缺陷，这可以提高准确性。

本文的系统避免了对视频数据进行编码以识别视觉行为，使研究人员能够分析驾驶模式 。因此，该系统有助于进行驾驶行为研究，因为它收集了与视觉行为和驾驶环境有关的高级数据。它的功效通过所进行的自然主义研究得到了证明，使我们能够确定与以前使用传统数据收集方法，即视频观察和编码技术的研究中所报告的视觉行为模式相似。因此，我们的结论是，我们的方法能够收集基本数据，以确定年轻司机和老年人之间视觉行为模式的一致差异。对于未来的工作，我们计划使用该系统来分析不同的外部因素（例如，改变车道、一天中的时段或不同的交通密度）将如何影响司机的视觉行为。进行更多的研究将使我们能够确定系统的设计特点，使其更加健全。

参考文献：

[1] C. Siebe, “Distracted driving and risk of road crashes among novice and experienced drivers,” J. Emergency Med., vol. 46, no. 4, pp. 600–601, Apr. 2014.

[2] F. Guo et al., “The effects of age on crash risk associated with driver distraction,” Int. J. Epidemiol., vol. 46, no. 1, pp. 258–265, Feb. 2017.

[3] F. Zhang, S. Mehrotra, and S. C. Roberts, “Driving distracted with friends: Effect of passengers and driver distraction on young drivers’ behavior,” Accident Anal. Prevention, vol. 132, Nov. 2019, Art. no. 105246.

[4] D. L. Strayer et al., “Visual and cognitive demands of CarPlay, Android auto, and five native infotainment systems,” Hum. Factors, J. Hum. Factors Ergonom. Soc., vol. 61, no. 8, pp. 1371–1386, Dec. 2019.

[5] T. Louw and N. Merat, “Are you in the loop? Using gaze dispersion to understand driver visual attention during vehicle automation,” Transp. Res. C, Emerg. Technol., vol. 76, pp. 35–50, Mar. 2017.

[6] J. Stutts et al., “Driver’s exposure to distractions in their natural driving environment,” Accident Anal. Prevention, vol. 37, no. 6, pp. 1093–1101, Nov. 2005.

[7] D. G. Kidd and M. L. Buonarosa, “Distracting behaviors among teenagers and young, middle-aged, and older adult drivers when driving without and with warnings from an integrated vehicle safety system,” J. Saf. Res., vol. 61, pp. 177–185, Jun. 2017.

[8] J. F. Antin, F. Guo, Y. Fang, T. A. Dingus, J. M. Hankey, and M. A. Perez, “The influence of functional health on seniors’ driving risk,” J. Transp. Health, vol. 6, pp. 237–244, Sep. 2017.

[9] R. D. Ray, J. M. Ray, D. A. Eckerman, L. M. Milkosky, and L. J. Gillins, “Operations analysis of behavioral observation procedures: A taxonomy for modeling in an expert training system,” Behav. Res. Methods, vol. 43, no. 3, pp. 616–634, Sep. 2011.

[10] R. E. Heyman, M. F. Lorber, J. M. Eddy, and T. V. West, “Behavioral observation and coding,” in Handbook of Research Methods in Social and Personality Psychology. Cambridge, U.K.: Cambridge Univ. Press, 2014, pp. 345–372.

[11] E. Murphy-Chutorian, A. Doshi, and M. M. Trivedi, “Head pose estimation for driver assistance systems: A robust algorithm and experi-mental evaluation,” in Proc. IEEE Intell. Transp. Syst. Conf., Oct. 2007, pp. 709–714.

[12] B. Metz and H. P. Krueger, “Measuring visual distraction in driving: The potential of head movement analysis,” IET Intell. Transp. Syst., vol. 4, no. 4, pp. 289–297, 2010.

[13] J. A. Stern, T. B. Brown, L. Wang, and M. B. Russo, “Eye and head movements in the acquisition of visual information,” Psychologia, vol. 48, no. 2, pp. 135–145, 2005.

[14] A. Kashevnik, I. Lashkov, A. Ponomarev, N. Teslya, and A. Gurtov, “Cloud-based driver monitoring system using a smartphone,” IEEE Sensors J., vol. 20, no. 12, pp. 6701–6715, Jun. 2020.

[15] J.-L. Yin, B.-H. Chen, K.-H. R. Lai, and Y. Li, “Automatic dangerous driving intensity analysis for advanced driver assistance systems from multimodal driving signals,” IEEE Sensors J., vol. 18, no. 12, pp. 4785–4794, Jun. 2018.

[16] M. Atiquzzaman, Y. Qi, and R. Fries, “Real-time detection of drivers’ texting and eating behavior based on vehicle dynamics,” Transp. Res. F, Traffic Psychol. Behav., vol. 58, pp. 594–604, Oct. 2018.

[17] L. Li, Z. Xie, X. Xu, Y. Liang, and W. Horrey, “Recognition of manual driving distraction through deep-learning and wearable sensing,” in Proc. 10th Int. Driving Symp. Hum. Factors Driver Assessment, Training Vehicle Design, Driving Assessment, vol. 10, Jun. 2019, pp. 22–28.

[18] L. Li, B. Zhong, C. Hutmacher, Y. Liang, W. J. Horrey, and X. Xu, “Detection of driver manual distraction via image-based hand and ear recognition,” Accident Anal. Prevention, vol. 137, Mar. 2020, Art. no. 105432.

[19] A. Tawari, S. Martin, and M. M. Trivedi, “Continuous head movement estimator for driver assistance: Issues, algorithms, and on-road evaluations,” IEEE Trans. Intell. Transp. Syst., vol. 15, no. 2, pp. 818–830, Apr. 2014. [20] F. Vicente, Z. Huang, X. Xiong, F. De la Torre, W. Zhang, and D. Levi, “Driver gaze tracking and eyes off the road detection system,” IEEE Trans. Intell. Transp. Syst., vol. 16, no. 4, pp. 2014–2027, Aug. 2015.

[21] A. Tawari and M. M. Trivedi, “Robust and continuous estimation of driver gaze zone by dynamic analysis of multiple face videos,” in Proc. IEEE Intell. Vehicles Symp., Jun. 2014, pp. 344–349.

[22] I.-H. Choi, S. K. Hong, and Y.-G. Kim, “Real-time categorization of driver’s gaze zone using the deep learning techniques,” in Proc. Int. Conf. Big Data Smart Comput. (BigComp), Jan. 2016, pp. 143–148.

[23] S. Dari, N. Kadrileev, and E. Hullermeier, “A neural network-based driver gaze classification system with vehicle signals,” in Proc. Int. Joint Conf. Neural Netw. (IJCNN), Jul. 2020, pp. 1–7.

[24] I. R. Tayibnapis, M.-K. Choi, and S. Kwon, “Driver’s gaze zone estimation by transfer learning,” in Proc. IEEE Int. Conf. Consum. Electron. (ICCE), Jan. 2018, pp. 1–5.

[25] Y. Wang, T. Zhao, X. Ding, J. Bian, and X. Fu, “Head pose-free eye gaze prediction for driver attention study,” in Proc. IEEE Int. Conf. Big Data Smart Comput. (BigComp), Feb. 2017, pp. 42–46.

[26] M. Kok, J. D. Hol, and T. B. Schön, “Using inertial sensors for position and orientation estimation,” in Foundations and Trends in Signal Processing, vol. 11, nos. 1–2. Boston, MA, USA: Now, Nov. 2017, pp. 1–153.

[27] A. Fernández, R. Usamentiaga, J. Carús, and R. Casado, “Driver distraction using visual-based sensors and algorithms,” Sensors, vol. 16, no. 11, p. 1805, Oct. 2016.

[28] Face Detection | Firebase. Accessed: Aug. 17, 2020. [Online]. Available:https://firebase.google.com/docs/ml-kit/detect-faces

[29] Amazon Web Services (AWS)—Cloud Computing Services. Accessed: Dec. 22, 2020. [Online]. Available: https://aws.amazon.com/ rekognition

[30] N. Bhatia and Vandana, “Survey of nearest neighbor techniques,” Int. J. Comput. Sci. Inf. Secur., vol. 8, no. 2, p. 11, Jul. 2010. [Online]. Available: https://arxiv.org/pdf/1007.0085.pdf

[31] J. M. Ramírez, M. D. Rodríguez, Á. G. Andrade, L. A. Castro, J. Beltrán, and J. S. Armenta, “Inferring drivers’ visual focus attention through head-mounted inertial sensors,” IEEE Access, vol. 7, pp. 185422–185432, 2019.

[32] Home—Yost Labs. Accessed: Aug. 17, 2020. [Online]. Available: https: //yostlabs.com/

[33] GitHub—Natario1/CameraView: A Well documented, HighLevel Android Interface That Makes Capturing Pictures and Videos Easy, Addressing All of the Common Issues and Needs. Accessed: Sep. 15, 2020. [Online]. Available: https://github.com/ natario1/CameraView

[34] Android KitKat | Android Developers. Accessed: Sep. 15, 2020. [Online]. Available: https://developer.android.com/about/versions/kitkat

[35] Fused Location Provider API | Google Developers. Accessed: Sep. 15, 2020. [Online]. Available: https://developers. google.com/location-context/fused-location-provider/

[36] MATLAB App Designer—MATLAB. Accessed: Sep. 15, 2020. [Online]. Available: https://www.mathworks.com/products/matlab/appdesigner.html

[37] J. S. Armenta, M. D. Rodríguez, and A. G. Andrade, “A sensing architecture based on head-worn inertial sensors to study drivers’ visual patterns,” Proceedings, vol. 31, no. 1, p. 34, Nov. 2019.

[38] S. Classen et al., “Item development and validity testing for a self- and proxy report: The safe driving behavior measure,” Amer. J. Occupational Therapy, vol. 64, no. 2, pp. 296–305, Mar. 2010.

[39] S.-W. Park et al., “Association between unsafe driving performance and cognitive-perceptual dysfunction in older drivers,” PM R, vol. 3, no. 3, pp. 198–203, Mar. 2011.

[40] M. Rizzo, “Impaired driving from medical conditions: A 70-year-old man trying to decide if he should continue driving,” Jama, vol. 305, pp. 1018–1026, Mar. 2011.

[41] S. W. Savage, L. Zhang, G. Swan, and A. R. Bowers, “The effects of age on the contributions of head and eye movements to scanning behavior at intersections,” Transp. Res. F, Traffic Psychol. Behav., vol. 73, pp. 128–142, Aug. 2020.

[42] Quick Statistics Calculators. Accessed: Jul. 16, 2019. [Online]. Available: https://www.socscistatistics.com/tests/

[43] K. L. Young and M. G. Lenné, “Driver engagement in distracting activities and the strategies used to minimise risk,” Saf. Sci., vol. 48, no. 3, pp. 326–332, Mar. 2010.

[44] Q. C. Sun, J. C. Xia, J. He, J. Foster, T. Falkmer, and H. Lee, “Towards unpacking older drivers’ visual-motor coordination: A gaze-based integrated driving assessment,” Accident Anal. Prevention, vol. 113, pp. 85–96, Apr. 2018.

[45] A.-S. Wikman and H. Summala, “Aging and time-sharing in highway driving,” Optometry Vis. Sci., vol. 82, no. 8, pp. 716–723, Aug. 2005.

[46] B. Metz, N. Schömig, and H.-P. Krüger, “Attention during visual secondary tasks in driving: Adaptation to the demands of the driving task,” Transp. Res. F, Traffic Psychol. Behav., vol. 14, no. 5, pp. 369–380, Sep. 2011.

[47] N. Merat, V. Anttila, and J. Luoma, “Comparing the driving performance of average and older drivers: The effect of surrogate in-vehicle infor-mation systems,” Transp. Res. F, Traffic Psychol. Behav., vol. 8, no. 2, pp. 147–166, Mar. 2005.

标签： 视觉注意力 持续时间 行为模式