《DB21_T 3469-2021 适合教室内姿态估计的标注规范.docx》由会员分享，可在线阅读，更多相关《DB21_T 3469-2021 适合教室内姿态估计的标注规范.docx（39页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、ICS03.080A16DB21辽宁省地方标准DB21/T34692021适合教室内姿态估计的标注规范2021-07-30发布2021-08-30实施辽宁省市场监督管理局发布DB21/T34692021目次前言.I1范围.22规范性引用文件.23术语和定义.24教室内人体标注要求.34.1通则.34.2人体轮廓标注要求.34.3人体关键点标注要求.75教室内物体标注要求.265.1通则.265.2桌面轮廓标注要求.26附录A（资料性）标注示例.31A.1人体轮廓标注示例.31A.2人体关键点标注示例.33A.3手部和头部标注示例.34A.4桌面标注示例.35A.5门窗标注示例.36参考文献.3
2、7IDB21/T34692021适合教室内姿态估计的标注规范1范围本文件规定了教室环境中人体以及桌面、门窗等物体的视频图像标注要求。本文件适用于采用计算机技术自动识别教室内人体、物体和人体姿态等应用。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1不可预测unpredictable需要标注的目标处于摄像头非背立面且被遮挡，无法估计出该目标的具体位置；或需要标注的目标处于摄像头背立面。3.2关键点keypoint影响人体姿态的各个关节点称为人体关键点。3.3互遮挡inter-occluded需要标注的同一类物体之间的遮挡关系称为互遮挡。3.4可见visib
3、le需要标注的目标处于摄像头非背立面且无遮挡称为可见。3.5可预测predictable需要标注的目标处于摄像头非背立面且被遮挡，但是可以通过参照点或者其他部位估计出其位置。3.6轮廓silhouette指构成人体或者物体外缘的线条称为轮廓。3.7人体姿态估计humanposeestimation根据输入图像或视频计算其中人体各个部位的状态，部位状态通常由人体关节点的位置坐标和置信度表示。3.82DB21/T34692021摄像头背立面backelevationofcamera以教室中摄像头的位置和人体坐姿为参照，二维图像中人体和物体不可见的一面为摄像头背立面。3.9摄像头非背立面non-ba
4、ckelevationofcamera以教室中摄像头的位置和人体坐姿为参照，二维图像中人体和物体可见的一面为摄像头非背立面。3.10它遮挡otheroccluded其它类物体遮挡了需要标注的目标称为它遮挡。3.11无遮挡unoccluded需要标注的人体部位或者物体未被其他人体或物体遮挡。4教室内人体标注要求4.1通则教室内人体标注应标出图像中对分析人体行为具有关键意义的信息，包括人体轮廓、人体关键点和手部、头部。4.2人体轮廓标注要求4.2.1基本要求人体轮廓的标注样式：从可见人体的边缘上选取若干采样点，采样点尽量包括所有拐点，连接相邻采样点拟合人体轮廓，最后首尾相连构成闭环，并记录采样点坐
5、标序列。标注人体轮廓时要保证轮廓的内部为要标注的人体；若待标注对象处于图像边缘，应尽量靠近图像内部标注，不应标注在图像边缘处或外部。人体轮廓标注应找出人体的最大连通部分，标注后的人体轮廓曲线应构成一个闭环，且不可交叉。根据被拍摄目标的遮挡关系，本文件分别从无遮挡、互遮挡和它遮挡三种情况给出人体轮廓的标注样式4.2.2人体轮廓无遮挡标注无遮挡表示没有人或物体遮挡需要标注的人体目标，图像中人体目标基本可见。按轮廓标注样式对人体轮廓进行标注即可。标注样式如图1和图2所示。3DB21/T34692021a）标注前b）标注后图1无遮挡人体轮廓标注（1）a）标注前b）标注后图2无遮挡人体轮廓标注（2）4.
6、2.3人体轮廓互遮挡标注互遮挡是指由于多个人体目标在图像中部分重叠，导致待标注的人体目标部分不可见，这种情况下只需对可见的人体部分进行标注。特别规定：标注时应将衣服包含在人体轮廓线内；应将凸出的头发或饰品排除在轮廓外，保持头部轮廓尽量平滑并将其拟合成圆弧形。标注样式如图3、图4和5所示。4DB21/T34692021a）标注前b）标注后图3互遮挡人体轮廓标注（1）a）标注前b）标注后图4互遮挡人体轮廓标注（2）a）标注前b）标注后图5互遮挡人体轮廓标注（3）4.2.4人体轮廓它遮挡标注5DB21/T34692021它遮挡是指桌子、试卷或者其他物体遮挡了待标注的人体目标。当人体图像被遮挡的面积较
7、大，无法通过人体结构特征推测被遮挡人体部位的位置时，应只需标注可见的人体部分，标注样式如图6-7所示。当遮挡物比较细小不影响人体的可见性时，应将其忽略。标注样式如图8、图9所示，图中的窗框和桌腿遮挡了待标注人体目标的胳膊和腿，但是可以通过人体连通性完整的标注出这些部位的轮廓。标注时人手中的纸、包等物品不属于人体轮廓，标注样式如图10所示，图中考生手中的纸张在标注时应被排除在人体轮廓之外。a）标注前b）标注后图6它遮挡人体轮廓标注（1）a）标注前b）标注后图7它遮挡人体轮廓标注（2）6a）标注前b）标注后图8它遮挡人体轮廓标注（3）DB21/T34692021a）标注前b）标注后图9它遮挡人体轮
8、廓标注（4）a）标注前b）标注后图10它遮挡人体轮廓标注（5）4.3人体关键点标注要求4.3.1基本要求关键点是人体图像中比较明显的标记点或关节点。标注过程中应明确人体的各个关键点的位置和该点的可见度。关键点(x,y)为图像中的二维坐标，可见度v0,1,2。其中，可见度v=0表示这个关键点不可见且不可预测，无法标注，此时x=y=0；可见度v=1表示这个关键点不可见，但是可以通过预测标注，(x,y)取关键点的预测坐标值；可见度v=2表示该关键点可见可标注，(x,y)取关键点的实际坐标值。本文件共设置了17个需标注的关键点，并约定了其在图像中标注的颜色，如表1所示：7序号关键点颜色可见可预测关键点
9、象素值RGB1鼻子nose红色255002左眼left-eye绿色025503右眼right-eye海绿色46139874左耳left-ear天蓝1352062355右耳right-ear蓝色002556左肩left-shoulder黄色25525507右肩right-shoulder橙色2559708左肘left-elbow淡紫色2181122149右肘left-elbow湖紫色1535125010左腕left-wrist粉红25519220311右腕right-wrist栗色176489612左髋left-hip沙棕色2441649613右髋right-hip巧克力2101053014左膝
10、left-knee青色025525515右膝right-knee品蓝6510522516左踝left-ankle金色255215017右踝right-ankle暗金橘色18413411DB21/T34692021表1人体关键点及标注样式表特别说明，下列情况无需标注：a)关键点不在人体轮廓内；b)鼻子、眼睛和耳朵关键点处于摄像头背立面；c)鼻子、眼睛、耳朵、肩部、肘部、腕部、髋部、膝部和踝部关键点不可预测。眼睛关键点和耳朵关键点的标注方式一致，将其统称为头部。关键点的标注以目标人体正面朝向为正方向，即根据人体实际的左右方向标注人体的左右躯体。人物所穿着贴身衣服为身体一部分，人体关键点标注模型如图
11、11和图12所示。8DB21/T34692021a）标注点名称b）标注点位置图11人体关键点示意图图12教室中真人标注4.3.2鼻子关键点4.3.2.1基本要求标注位置应为鼻子的几何中心点。4.3.2.2鼻子关键点可见9DB21/T34692021鼻子部位完全可见或部分可见时，关键点可见，可见度值应为2。完全可见的标注样式如图13和14所示；部分可见的标注样式如图15所示，图中鼻子被口罩部分遮挡但基本可见，标注时可以根据口罩和鼻子的位置，推测出关键点的位置。a）标注前b）标注后图13鼻子关键点可见标注（1）a）标注前b）标注后图14鼻子关键点可见标注（2）a）标注前b）标注后图15鼻子关键点可
12、见标注（3）10DB21/T346920214.3.2.3鼻子关键点可预测鼻子关键点可预测是指鼻子在图像中不是明显可见但可预测出其位置，关键点的可见度值为1。本文件按以下三种情况对鼻子关键点的位置进行预测：a)人体面部可见但鼻子部位完全被遮挡，此时将关键点标注在遮挡物的适当位置上，标注样式如图16所示；b)人体面部部分可见，此时将关键点标注在面部中心偏下位置，标注样式如图17所示；c)人体面部完全不可见，此时需推测面部平面位置并根据头部朝向确定鼻子关键点的位置，标注样式如图18所示。图中人物脸部被完全遮挡，标注时首先根据坐姿推测出脸部平面的位置，再通过脖子与头部中心的位置推测头部的转向情况，完
13、成关键点的标注。a）标注前b）标注后图16鼻子关键点可预测标注（1）a）标注前b）标注后图17鼻子关键点可预测标注（2）a）标注前b）标注后图18鼻子关键点可预测标注（3）11DB21/T346920214.3.2.4鼻子关键点不可预测鼻子位置不可预测时关键点无需标注，关键点的可见度值为0。鼻子关键点不可预测分为以下三种情况：a)由于摄像头像素过低导致无法看清楚人脸的转向情况，无法预测关键点的位置，标注样式如图19所示；b)人体被遮挡导致鼻子不在所标注的轮廓线内，关键点无需预测，标注样式如图20所示；c)鼻子处于摄像头背立面，关键点不可预测，标注样式如图21所示。图19鼻子关键点无法预测标注图
14、20鼻子关键点不在轮廓线内标注12DB21/T34692021图21鼻子关键点处于摄像头背立面标注4.3.3头部关键点4.3.3.1基本要求头部主要包括左眼、右眼、左耳和右耳4个关键点，标注位置为各个部位的几何中心点，眼睛关键点的位置为眼球中心，耳朵关键点的位置为耳洞中心。人体处于摄像头非背立面的情况下，对以上关键点进行标注。4.3.3.2头部关键点可见眼睛和耳朵完全可见或部分可见情况下，可依次标出可见关键点，关键点的可见度值为2。图22中的男生左右眼和左右耳清晰可见，可直接标注；图23中男生左右眼眉可见，左右眼关键点标在眼眉下边缘的眼球上，左右耳关键点标注在耳朵轮廓中心点位置。a）标注前b）
15、标注后图22头部关键点可见标注（1）a）标注前b）标注后图23头部关键点可见标注（2）4.3.3.3头部关键点可预测头部关键点可预测是指当关键点在图像中处于摄像头非背立面且被其他物体完全遮挡，或由于像素13DB21/T34692021过低导致关键点无法从图像中清晰看到时，可以根据其他部位或者参照物（如眼镜、口罩等）估计出该关键点的位置。图24、图25中，人物佩戴了眼镜，可将眼镜作为参照物推测出眼睛关键点位置；图26中无参照物，可以通过相邻部位推测出耳朵关键点的位置。a）标注前b）标注后图24头部关键点可预测标注（1）a）标注前b）标注后图25头部关键点可预测标注（2）a）标注前b）标注后图26
16、头部关键点可预测标注（3）4.3.3.4头部关键点不可预测头部关键点不可预测可以分为四种情况：14DB21/T34692021a)由于摄像头像素过低无法看清楚人脸的转向情况，导致关键点位置无法预测；b)人体被遮挡导致关键点不可预测；c)关键点不在所标注的轮廓线内；d)关键点处于摄像头背立面。以上情况头部关键点无需标注，关键点的可见度值为0，标注样式如图27、图28、图29和图30所示。图27头部关键点不可预测标注（1）图28头部关键点不可预测标注（2）3.272图29头部关键点不可预测标注（3）图30头部关键点不可预测标注（4）4.3.4肩部关键点4.3.4.1基本要求肩部包括左肩和右肩两个关
17、键点，关键点标注位置为肩关节中心点。本文件分别从可见、可预测和不可预测三种情况给出标注样式。由于需要通过肩部关键点确定人体整体位置，因此当肩部关键点不可见时应尽可能对其位置进行预测。4.3.4.2肩部关键点可见肩部在图像中清晰可见时，直接标注即可，关键点可见度值为2。肩部可见标注样式如图31所示。15DB21/T34692021a）标注前b）标注后图31肩部关键点可见标注4.3.4.3肩部关键点可预测肩部关键点可预测是指由于摄像头的角度不同，有些情况下只能见到一侧肩部，而需要对另一侧肩部进行预测，预测获得关键点可见度值为1。标注样式如图32、图33所示。图中只能看到左（右）肩的关键点，可以按如
18、下方法进行预测：如果右（左）肘可见，首先找到右（左）肘的位置，根据右（左）肘位置沿着上臂向上绘制一条直线，然后在左（右）肩部与脖子中心绘制一条直线（特别提示：可以通过人体坐姿绘制此条线，若为正坐姿则此连接线应与桌子的边线平行，若坐姿不正可根据身体转向进行方向调整），两条线的相交点即为预测的右（左）肩部的关键点。a）标注前b）标注后图32肩部关键点可预测标注（1）16a）标注前b）标注后图33肩部关键点可预测标注（2）DB21/T346920214.3.4.4肩部关键点不可预测肩部关键点不可预测是指由于摄像头的角度等原因，肩部被其他物体完全遮挡无法推测位置，或无法找到两条符合上一节要求的直线，这
19、两种情况下关键点的可见度值为0。肩部不可预测标注样式如图34、图35所示。a）标注前b）标注后图34肩部关键点不可预测标注（1）a）标注前b）标注后图35肩部关键点不可预测标注（2）4.3.5肘部关键点4.3.5.1基本要求肘部包括左肘和右肘两个关键点，关键点标注位置为肘部中心点。下面分别从可见、可预测和不可预测三种情况给出标注样式。4.3.5.2肘部关键点可见肘部在图像中完全可见时可直接在关节中心点标注，关键点的可见度值为2。肘部关节都可见的标注样式如图36-37所示。17DB21/T34692021a）标注前b）标注后图36肘部关键点可见标注（1）a）标注前b）标注后图37肘部关键点可见标
20、注（2）4.3.5.3肘部关键点可预测肘部关键点可预测是指肘部被完全遮挡，但是可通过相邻部位推测其位置，关键点的可见度值为1。图38中人物的右肘不可见，但可以根据右臂的方向和位置进行推测。图39中，右肘被左手遮挡，可根据人体结构推测出其位置；左肘被外套遮挡，可根据左手臂的方向和位置推测出左肘关键点的位置。a）标注前b）标注后图38肘部关键点可预测标注（1）18DB21/T34692021a）标注前b）标注后图39肘部关键点可预测注（2）4.3.5.4肘部关键点不可预测肘部关键点不可预测是指肘部完全被遮挡且无法推测出具体位置，这种情况关键点的可见度值为0。4.3.6腕部关键点4.3.6.1基本要
21、求腕部包括左腕和右腕两个关键点，关键点标注位置为腕部中心点。4.3.6.2腕部关键点可见当腕部在图像中完全可见时可直接进行标注，也可以通过手部推测出手腕的位置，可见度值为2。特别规定：手表对手腕的遮挡可以忽略，此时关键点的状态为可见。腕部可见标注样式如图40所示。a）标注前b）标注后图40腕部关键点可见标注19DB21/T346920214.3.6.3腕部关键点可预测腕部关键点可预测是指腕部在被完全遮挡的情况下，可以根据其他部位推测出该部位的位置，关键点的可见度值为1。腕部可预测标注样式如图41所示，图中右腕的位置可根据右手及右肘的位置进行推测。a）标注前b）标注后图41腕部关键点可预测标注4
22、.3.6.4腕部关键点不可预测腕部关键点不可预测是指腕部完全被遮挡且无法推测其位置，关键点的可见度值为0。4.3.7髋部关键点4.3.7.1基本要求髋部包括左髋和右髋两个关键点，关键点标注位置为髋部中心点，即躯干和大腿部位分界线的中心点。下面分别从可见、可预测和不可预测三种情况给出标注样式。4.3.7.2髋部关键点可见髋部关键点可见是指髋部在图像中可见，在部位分界线中心点进行标注即可，关键点的可见度值为2，标注样式如图42、图43所示。20DB21/T34692021a）标注前b）标注后图42髋部关键点可见标注（1）a）标注前b）标注后图43髋部关键点可见标注（2）4.3.7.3髋部关键点可预
23、测髋部关键点可预测是指髋部完全被遮挡或无法看清身体部位明显分界线，可以通过其他可见的身体部位推测出髋部关键点的位置，关键点的可见度值为1，标注样式如图44所示，图中左髋部被左臂遮挡，可以通过可见的右髋位置以及腹部方位来推测关键点的位置。图45中未见明显分界线，可以通过其他可见的身体部位推测出髋部关键点的位置。21DB21/T34692021a）标注前b）标注后图44髋部关键点可预测标注（1）图3.38髋部可预测标注样式a）标注前b）标注后图45髋部关键点可预测标注（2）4.3.7.4髋部关键点不可预测髋部关键点不可预测是指髋部完全被遮挡且无法推测出具体位置，关键点的可见度值为0。4.3.8膝部
24、关键点4.3.8.1基本要求膝部关键点包括左膝和右膝两个关键点，关键点标注位置为膝部中心点，即大小腿分界线中心点。下面分别从可见、可预测和不可预测三种情况给出标注样式。4.3.8.2膝部关键点可见膝部关键点可见是指膝部在图像中完全可见，在部位分界线中心点进行标注即可，关键点的可见度值为2。标注样式如图46所示。22DB21/T34692021a）标注前b）标注后图46膝部关键点可见标注4.3.8.3膝部关键点可预测膝部关键点可预测是指关键点被完全遮挡或身体部位分界线不是清晰可见，但可通过其他可见的身体部位推测出其位置，关键点的可见度值为1。标注样式如图47所示，图中膝部不可见，膝部以下的部位可
25、见，则可以根据小腿的位置推测出膝关节所在的位置。a）标注前b）标注后图47膝部关键点可预测标注4.3.8.4膝部关键点不可预测膝部关键点不可预测是指膝部完全被遮挡且无法推测出具体位置，关键点的可见度值为0。4.3.9踝部关键点4.3.9.1基本要求踝部关键点包括左踝和右踝两个关键点，关键点标注位置为踝部中心点，即小腿和脚部分界线的中心点。下面分别从可见、可预测和不可预测三种情况给出标注样式。23DB21/T346920214.3.9.2踝部关键点可见踝部关键点可见是指踝部在图像中完全可见，在部位分界线中心点进行标注即可，关键点的可见度值为2，标注样式如图48、图49所示。a）标注前b）标注后图
26、48踝部关键点可见标注（1）a）标注前b）标注后图49踝部关键点可见标注（2）4.3.9.3踝部关键点可预测踝关节可预测是指关键点被遮挡或身体部位分界线不是清晰可见，可根据腿部或脚部的位置和方向预测出踝关节的位置，关键点的可见度值为1。标注样式如图50所示，图中踝部关键点不可见，但可通过腿部与脚部位置推测出关键点所在位置。24DB21/T34692021a）标注前b）标注后图50踝部关键点可预测标注4.3.9.4踝部关键点不可预测踝部关键点不可预测是指踝部完全被遮挡且无法推测出具体位置，这种情况下关键点的可见度值为0。4.4手部头部标注要求4.4.1基本要求为了更精确的识别动作，应标注出人体的
27、左手、右手和头部，采用外接矩形的形式进行标注，外接矩形分别将左手、右手和头部完全框住。下面分别从部位无遮挡、有遮挡可标注和有遮挡不可标注三种情况给出标注样式。三个部位的标注样式设置如下：头部：红色外接矩形；左手：绿色外接矩形；右手：蓝色外接矩形。4.4.2手部头部无遮挡标注当待标注部位在图像中可见时，直接采用相应的外接矩形进行标注即可，标注样式如图51所示。图51手部头部无遮挡标注4.4.3手部头部有遮挡可标注25DB21/T34692021由于摄像头拍摄角度等原因，人体的头部或手部可能被其他人体部位或物体遮挡，此时可根据可见的头部或手部推测被遮挡的部位，也可通过其他相邻部位的信息推测出待标注
28、部位的位置。标注样式如图52所示，图中左手不可见，但可根据可见的部位信息推测其位置。图52手部头部有遮挡可标注4.4.4手部头部有遮挡不可标注由于摄像头拍摄角度等原因，人体的头部或手部可能被其他人体部位或物体遮挡，如果无法根据可见的头部或手部推测出不可见部位的位置，也不能通过相邻部位信息推测出待标注部位的位置，则不进行标注，标注样式如图53所示，图中头部和右手可见，左手在桌面以下无需标注。图53手部头部有遮挡不可标注5教室内物体标注要求5.1通则需要标注的教室内物体包括：桌面、门和窗户，标注形式为物体的外围轮廓，轮廓的采样点数不少于4个，且只能有一个闭合区域。5.2桌面轮廓标注要求5.2.1基
29、本要求26DB21/T34692021为了获得桌面的范围和位置，需要标注的桌面包括考生的桌面及教室前面的讲台桌面，两种轮廓标注要求相同。标注桌面轮廓时，应只标注桌面的最大可见连通部分，并且标注后的轮廓只能有一个闭合区域。按遮挡关系可分为无遮挡标注和它遮挡标注两种情况。5.2.2桌面无遮挡标注无遮挡表示要标注的桌面未被明显遮挡或部分遮挡但可预测，标注样例如图54、图55和图56所示。图54中桌面四角清晰可见，可直接标注；图55中桌面四角清晰可见，桌面中间放有物体，但未阻断连接四个桌角的平行四边形闭环，可直接标注；图56中仅有一个桌角被部分遮挡但可预测出该桌角的位置，可直接标注。a）标注前b）标注后图54桌面无遮挡标注（1）a）标注前b）标注后图55桌面无遮挡标注（2）a）标注前b）标注后图56桌面无遮挡标注（3）27DB21/T346920215.2.3桌面它遮挡标注它