# 标注平台
Octopus标注平台为标注团队提供标注平台管理员、团队管理员和标注任务操作人员(标注员/质检员/验收员)三种职能,三种职能对标注平台的操作权限不同,保证标注任务的数据安全。标注平台管理员根据不同标注任务创建标注团队,分配标注任务操作人员不同角色;创建标注项目,并在项目下创建预标注模板及标注任务;可在标注任务进行过程中查看标注任务操作人员的标效等;团队管理员主要管理团队事务,如管理团队成员以及团队绑定的标注项目等;标注任务的操作人员是标注任务的实际执行人员,根据标注任务所处流程,有标注员、质检员和验收员三种角色。在标注任务进行中,操作人员可查看实时标效和累计完成量等指标。
数据标注流程如下。
# 标注团队
Octopus标注平台提供标注团队的管理功能。平台管理员可以创建团队,增删改查团队内成员,并为成员分配职能。标注团队共有团队管理员、标注员、质检员、验收员四种角色,为IAM用户,拥有标注平台控制权限。除团队管理员外,其他人员只能认领团队绑定的任务,也只能查看该团队名下的任务。
- 团队管理员:管理团队事务。如管理团队成员、创建项目绑定团队、新增标注任务等;
- 标注员:根据标注规范对未标注的图片或点云图像进行标注;
- 质检员:根据标注规范对已标注完成的图片或点云图像进行抽查,检查标注员的标注完成质量;
- 验收员:质检完成后,验收员依据标注规范和验收标准对已完成的标注任务进行验收,检验标注任务是否通过验收。
# 标注项目
标注任务以标注项目的形式管理,管理员根据业务需求创建不同的标注项目,并为标注项目选择适合的标注团队。项目内包含所有符合该需求的标注任务,管理员可增删改查标注任务。除管理员外,只有绑定了该项目的团队成员才可以查看标注项目内容,保证标注任务的私密性及安全性。团队内标注员可认领标注任务,进行人工标注或确认自动标注结果。标注完成后提交质检,团队内质检员质检标注任务,质检通过后提交验收。验收员确认任务通过验收后,该任务结束。
标注平台支持统计项目的进展情况以及团队成员的标注效率,便于管理员把控项目整体进度,及时掌握成员的标注效率。单击项目名称后“项目详情”,查看项目整体进度以及人员标效统计。项目详情分为项目概览以及人员详情两部分。
# 项目概览
项目概览包括项目信息、项目今日状态以及项目相关数据图表统计,管理员可以快速掌握项目当前进度。
项目信息:项目名称、项目标注团队、项目预计结束时间、项目累计通过验收任务数以及累计通过验收帧数;
项目今日状态统计:与昨日相比,今日项目中标注任务数量、质检与验收任务数量及变化。绿色箭头表示上升,红色箭头表示下降;
说明:
- 返修中任务数:质检员、验收员退回后数值增加,质检员重提后减少;
- 待验收任务数:包含待验收和验收中任务数,退回和提交后减少。
项目相关数据图表统计:为便于管理员快速掌握项目进展情况,平台实时统计标注项目中相关重要数据量变化并将其制作成图表。管理者可通过图表中图形的变化了解当前项目进程。可设置时间范围,查询指定时间段内项目重要指标变化情况。目前为以下五种图表:
各环节累计帧数:平台统计标注任务从任务下发、任务标注提交、提交质检到提交验收,以及任务不合格打回返修这几个标注任务常见环节中数量变化,并以帧为单位绘制成图表;
项目参与人数:标注员认领任务后,进行标注并保存任务进度,被平台视为参与该项目。同样,质检员认领质检任务进行质检并保存任务进度,被平台视为参与该项目。平台统计参与项目的标注员和质检员人数,并绘制成图表;
平均标注效率:标注平台实时统计项目标注速度变化情况,支持按帧数或对象数查看;
说明: 标注时间为标注所需的总时间(实时统计)。 按帧查看时 :标注速度=累计已提交任务的标注工作时长/总帧数;按对象查看:标注速度=累计已提交任务的标注工作时长/总对象数。 鼠标静止时间大于等于5分钟,静止时间不计入标注时间内。
单日标注提交帧数:统计当日项目中所有标注员提交的标注任务总帧数;
单日返修任务统计:若已提交的标注任务不满足质检通过标准,质检员将其打回给标注员进行返修;若已提交的质检任务不满足验收通过标准,验收员将其打回。根据打回的阶段,有质检返修和验收返修两种。标注平台对当日项目中两种返修任务进行统计并绘制成图表。
# 人员详情
标注平台统计承包标注项目的标注团队中所有标注员和质检员的累计工作量情况,如累计工作时长、提交任务数量、累计返修任务数量等。管理员可单击箭头升序或降序排列,查看标注员和质检员的完成情况排序,也可以筛选时间,展示特定时间段内标注员、质检员的任务累计完成情况。标注平台从累计确认帧数、累计提交任务数、累计返修任务数、累计工作时长以及平均单帧标注时间五个指标衡量标注员、质检员的任务完成情况。
累计确认帧数:标注员、质检员提交任务中确认有效的帧数以及返修环节中新增的有效帧数之和;
说明: 返修后有效帧数变更会在重新提交任务时刷新。
累计提交任务数:标注员、质检员认领并提交的任务数量;
累计返修任务数:标注员返修的任务次数;若某任务返修多次,则累计返修任务数叠加,累计提交任务数不变;
累计工作时长:标注员累计标注总时长、质检员累计质检总时长,包含返修时长;
说明: 返修后有效帧变更为无效帧,累计时长会减去无效帧时间;无效帧变更为有效帧,累计时长会加上有效帧时间。
平均单帧标注(质检)时间:平均单帧标注(质检)时间的计算方式为:累计工作时长/累计确认有效帧数。
# 预标注模板
在标注数据之前,可以通过自定义预标注模板并激活,创建标注任务,进而对数据进行标注。
表 1 预标注模板主要属性说明
| |
# 标注任务
预标注模板创建完成并处于激活状态后,可以创建标注任务。自动标注任务会根据预标注模板中指定的标注模型,将图片中对应的标注目标标出;人工标注需手动标出标注目标。
平台管理员可以创建标注项目所需的标注任务,创建任务的方式有手动创建,和通过obs导入两种。设置json语句和数据包两种筛选方式,筛选符合条件的数据包,并设置样本条件。可批量创建标注任务。
平台管理员还可创建无需绑定团队的标注任务,只需指定标注、质检和验收人员即可。
自动标注完成后,需要人工确认标注结果,并判断图片是否属于难例。对于难例数据,需要手动进行标注。
人工标注任务需标注员依照标注规范手动标注样本中所有待标注物体。
标注界面如下图所示:
点云标注类型任务绘制点云图像标注框后,还需根据标注物体的三视图修改标注框。点云图像下方为该点云图像对应的真实采集图片。
图片标注类型任务左侧为标注工具,根据标注任务类型选择标注工具按照标注规范绘制图片标注框后,在右侧展示该标注信息,标注图片下方为8张真实路采图片。
# 质检任务
标注完成后,对标注任务的质量进行检验。需设定质检比例。质检比例是从指定标注任务所有有效样本中抽取一定比例的样本进行检验,若样本中所有标注框按照标注规范标注,无错误,则质检通过。
# 数据统计
Octopus标注平台还提供标注任务和质检任务的数据统计功能,包括标注任务基本信息、流程进度,以及标注和质检对象总数和各种标签标注物的数量统计。
- 基本信息:标注任务名、标注状态、样本类型、标注信息等;
- 流程进度:标注任务所处阶段(共四个阶段);
- 标注对象数量统计:标注对象总数,各种不同标注物名称、数量和颜色;
- 标注状态统计:任务中已标注、未标注、难例图片数据统计。