# 创建标注数据集
# 步骤1:基础信息配置
创建流水线模板
单击“数据服务>流水线>流水线模板>新建模板”,填写流水线模板信息。模板名称和描述信息请结合实际情况自定义,完整的数据处理流程如下,可依次删除不需要的作业节点,修改流水线步骤,后续数据服务将按照模板自动触发各作业运行。
单击“创建”,模板成功创建后,可在流水线模板列表单击“模板名称”,查看详情。流水线模板创建和实例查看详细介绍请参见流水线。
配置车辆信息
单击“配置管理>车辆管理>车队管理>新建车队”,自定义填写车队名称和描述信息,单击“确定”完成车队创建。
- 名称:包含中英文、数字、“_”“-”,不得超过64个字符;
- 描述:简要描述车队信息,不包含“@#$%^&*<>/”,不得超过255个字符;
单击“配置管理>车辆管理>新建车辆信息”,自定义填写车辆名称。同时指定该车辆所属车队,选择刚刚创建的车队名称;指定流水线运行模板,选择刚刚创建的流水线模板。
注意: 车辆名称请勿输入个人信息。
信息填写好后单击“创建”,提示“创建成功”,则可在车辆管理列表查看或修改。车辆管理的详细介绍请参见车辆管理。
配置标定信息
上传标定项。单击“配置管理>标定管理>标定项列表>上传标定项”,一个标定文件对应一个标定项。当前支持车架配置以及四种传感器标定信息配置:车架配置、相机、激光雷达、毫米波雷达、超声波雷达。标定项即车架配置及各传感器的角度、位置等基本配置信息,格式需符合Octopus规范,请结合实际情况自定义编写“.yaml”标定文件。
- 标定格式:Octopus;
- 各类型标定文件模板可参考附录标定文件模板部分;
- 各类型标定文件示例请参考使用:calibration.rar;
注意: 上传的各标定项文件数量不得超过平台限制的最大数量。
添加标定。根据提示选择符合Octopus平台要求的各标定项标定文件,自定义填写标定名称,单击“上传”。将标定项都上传到平台后,单击页面右下角“完成并创建标定”。
一个数据批次对应一个标定,一个标定对应多个标定项。填写标定名称和描述信息,通过标定项“详情”检查标定项内容,可单击页面右下方“上传标定项”新增,也可删除指定标定项。检查无误后单击“确认”。
创建后可在标定列表中查看创建的标定和标定项,标定管理详细介绍请参见标定管理。
# 步骤2:上传数据
准备数据
在使用Octopus平台收集数据前,需要先了解平台对数据格式的具体要求,有助于您更快速的完成数据采集,将数据传输至Octopus平台。
- 数据类型:包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等;
- 采集方式:Octopus当前支持Octopus OpenData数据格式。其中摄像机采集数据文件后缀为.jpg,激光雷达采集数据文件后缀为.pcd,其他采集数据文件后缀为.pb;
对于原始数据的详细说明请参见路测数据格式;
上传数据包到OBS桶
- 准备好自动驾驶车辆采集的数据,可以将不同时段采集的数据包放在同一个一级目录下,也可以分开存放。对原始数据具体要求请参见“路测数据格式”;
- 将准备好的原始数据上传到账号对应的OBS桶中,具体上传步骤可以参考“如何上传文件到OBS桶?”;
创建数据收集任务
单击“数据服务>数据收集>新建收集任务”。如图,填写完成后,仔细阅读并勾选“我已阅读并同意《Octopus服务申明》”,单击页面右下方“提交任务”。
OBS目录:包含“octopus_data_collection.yaml”文件的上一级目录。
数据包:选择可用数据包。
访问秘钥:填写访问秘钥,获取访问秘钥方式请参考如何获取访问密钥AK/SK?
预览收集任务信息无误后,单击“确认”。系统生成数据收集任务ID ,数据收集任务创建成功,返回收集任务列表。
查看数据详细信息
数据收集完成后,单击“数据服务>数据收集>数据包”,单击指定数据包后“操作”一栏内的“详情”,查看数据包详情及收集信息。也可通过“数据包ID”、“收集任务ID ”、“车辆名称”和“数据包名称”等维度过滤数据包,或通过数据收集任务的收集时间过滤数据包,快速查找指定数据包。
- 数据包详情分为数据包信息以及收集信息两部分。
- 数据包信息:分为数据包信息和数据包详情两部分。数据包信息展示数据包所属数据收集任务名称、数据包实时状态等信息;数据包详情以列表形式展示数据包内各传感器数据类型、数据格式、数据量大小等信息。
- 收集信息:采集车辆基本信息以及传感器位置及数据量大小。
- 数据包详情分为数据包信息以及收集信息两部分。
# 步骤3:标注数据
创建预标注模板
单击“数据服务>标注平台>创建标注模板”,填写模板名称和描述信息;
模板名称:包含中英文、数字、“_”“-”,不得超过64个字符;
模板描述:不包含“@#$%^&*<>/”,不得超过255个字符;
自动激活:如图所示需打开开关,模板才可被使用;
标注类型:使用预标注模板的任务类型,人工标注和自动标注两类;
样本类型:图片、3D点云;
添加标注:预标注模板包含的标注对象类别,从下拉框中选择。自定义标注需提前在“标注管理”中创建成功;
单击“创建”完成,可在预标注模板列表修改模板信息,关于预标注模板详细介绍请参见预标注模板。
创建用户组
创建用户组前需为用户组内用户开通IAM账号。开通及登录IAM账号的操作请参考如何创建IAM用户?。
管理员在“配置管理>用户管理”中添加用户,并分配标注平台权限。添加用户操作请参考添加用户。
单击“数据服务>标注平台>用户组管理>创建用户组”。
自定义填写用户组名称,选择用户。
- 用户组名称:简要标识该用户组名称,与其他用户组区分,包含中英文、数字、“_”“-”,不得超过64个字符;
- 选择用户:下拉框中选择该用户组用户。用户需已开通IAM账号;
创建自动标注任务
单击“数据服务>标注平台>创建标注任务”。
筛选样本。输入筛选条件,筛选条件需要以ElasticSearch的JSON查询语言表达。单击“check”,筛选出符合条件的样本。从符合条件的样本中设置样本开始及结束位置,设置样本数量。
{ "query": { "bool": { "must":[{ "match": { "sample_type.keyword": "IMAGE" //必填。样本类型:图片:IAMGE;3D点云:POINT_CLOUD; }}, { "match": { "project_id": "08229abd258026572f24c01899c784ae" //必填。项目ID,可在“账号>我的凭证>项目列表"查看。项目ID所属区域需和登录账号所在区域一致; }}, { "match": { "tags": 57 //必填。标签:筛选指定标注标签ID。标注标签ID请见"配置管理>标签管理" 。 }}, { "match": { "tags": 190 //若为追踪类标注任务,则必填190。 }}, {"range":{ "image_meta_info.timestamp":{ "gte":1590461097101, //必填。时间戳上限; "lte":1590466496100 //必填。时间戳下限; } }} ], "filter" : { "script" : { "script" : [{ "source": "doc['image_meta_info.timestamp'].value/1000%4==0" //必填。从录制的采集图像中间隔多少秒抽取一张图像; }] } } } }, "sort": [ { "image_meta_info.name.keyword": { "order": "asc" } } ] }
根据下表填写标注任务名称,选择标注和质检人员。
表 1 参数说明
完成标注参数部分。
表 2 标注参数说明
预标注模板,需提前创建预标注模板。
单击“创建”,在“标注任务”页面展示新创建的自动标注任务,自动标注任务创建成功。
当自动标注任务处于“自动标注完成”状态时,单击指定自动标注任务名称,进入该标注任务的详情页面。单击图片查看自动标注结果,通过“已确认”和“是否难例”勾选项,确认标注结果。
- 若自动标注结果正确:勾选“已确认”;
- 若自动标注结果不准确:勾选“难例”,将样本数据加入难例;并且需要手动为对象物体添加正确标注,具体操作方法请参考人工标注操作指导;
- 若样本中未出现标注对象,勾选“已确认”和“无效”标签;
人工确认完成后,单击标注任务“统计信息”查看标注统计数据。关于自动标注任务详情介绍请参见自动标注。
质检自动标注任务
- 自动标注完成后,对自动标注任务的完成质量进行确认。单击任务名称后“操作”一栏内的“质检”,配置质检比例,单击确定。
- 单击任务名称,进入该标注任务界面,单击“待质检”。单击任意一张图片,进入质检界面。
- 若样本中所有标注框正确,单击“质检通过”;
- 若样本中有标注框错误,右键标注框,选择质检属性,单击“质检未通过”。
# 步骤4:创建数据集
对数据进行处理和标注后,您需要创建一个数据集进行自动驾驶模型训练,请确保所需数据已完成标注。
单击“数据服务>数据集>训练数据集>新建数据集>创建数据集”您可参考下图并结合实际数据集用途:默认创建训练数据集;
- 版本更新方式:手动更新;
- 数据集用途:训练。
- 标注格式:当前支持Pascal_VOC格式;
- 难例数据:打开开关将同步创建难例数据集;
- 数据源入库时间:请根据原始数据上传平台的时间区间选择;
- 数据源标注时间:请根据处理后的原始数据标注的时间区间选择;
- 筛选标注任务:请选择已完成的标注任务;
- 筛选标注label:数据集将用于训练服务的训练任务,因此标注label将决定训练生成的模型应用场景,请根据实际需求选择;
- 筛选标签tag:请选择标签管理中已有标签tag;
创建完数据集后,系统自动跳至数据集列表页面,您可以在该页面对数据集进行查看、删除、更新版本操作。数据集详细介绍请参见创建数据集。