自采集的交警手势数据集:其中包含停止信号、直行信号、左转弯信号、左转弯待转信号、右转弯信号、变道信号、减速慢行信号、示意车辆靠边停车信号8种交警手势,分为3个视角(左、中、右),采集时间分为白天和傍晚,并进行抽帧注释。数据集的总视频长度约为32小时(24.3GB),原始图片250,760张(85.6GB),标注图片35,131张(标注效果图64.3GB,标注结果16.4MB),其中停止图片4,085张,直行图片5,131张,左转弯图片4,740张,左转弯待转图片3,534张,右转弯图片4,295张,变道图片4,478张,减速慢行图片4,428张,示意车辆靠边停车图片4,440张。数据采集如图1所示。
① 场景:S(simple), C(complex),分别代表简单场景和复杂场景;
② 视角:L(left), R(right), M(middle),分别代表左侧视角,右侧视角与中间视角;
③ 动作:ST, SA, TL, TR, LW, CL, SD, PO,分别表示停止,直行,左转弯,右转弯,左转弯待转,变道,减速慢行,靠边停车;
④ 为了后期区分,每个定义用下划线隔开;
例:S_L_B1_SA_0001表示简单场景下的左视角直行指令,0001表示该行为的第一帧图片。
自采集的交警手势数据集可采用AlphaPose进行数据处理,每个动作处理5,100张(标注结果152MB),关节点数量为18,如图2所示。具体每个关节的定义如表1所示。自采集的交警手势数据集中获取的人体关节点信息是由每个人体关节点的二维位置组成,其中包括x、y坐标值,置信度等信息。
序号 | 自采集的交警手势数据集 | 序号 | 自采集的交警手势数据集 |
---|---|---|---|
0 | 鼻子 | 9 | 右膝盖 |
1 | 颈部 | 10 | 右脚踝 |
2 | 右肩 | 11 | 左髋 |
3 | 右手肘 | 12 | 左膝盖 |
4 | 右手腕 | 13 | 左脚踝 |
5 | 左肩 | 14 | 右眼 |
6 | 左手肘 | 15 | 左眼 |
7 | 左手腕 | 16 | 右耳 |
8 | 右髋 | 17 | 左耳 |
采用的评价指标为准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1值。
①准确率:准确率是最常见的评价指标,是该图像或者视频检测出来对的动作数除以该图像或者视频所有动作数,通常来说,正确率越高,分类器越好,所以通常研究人员会使用准确率作为对比实验的评价指标。
②精确率:精确率是预测出的动作数中有多少是对的动作。目标动作被预测正确记为TP,不是目标动作的部分被预测为目标动作记为FP,即Precision=TP/(TP+FP)。
③召回率:召回率是样本中的动作有多少被预测正确。目标动作被预测正确记为TP,目标动作被预测错误FN,即Recall=TP/(TP+FN)。