# 创建标注数据集

步骤1：基础信息配置
步骤2：上传数据
步骤3：标注数据
步骤4：创建标注数据集

# 步骤1：基础信息配置

创建流水线模板
- 单击“数据服务>流水线>流水线模板>新建模板”，填写流水线模板信息。
  
  模板名称和描述信息请结合实际情况自定义，完整的数据处理流程如下，可依次删除不需要的作业节点，修改流水线步骤，后续数据服务将按照模板自动触发各作业运行；
- 单击“创建”，模板成功创建后，可在流水线模板列表单击“模板名称”，查看详情。流水线模板创建和实例查看详细介绍请参见流水线。
配置车辆信息
- 单击“配置管理>车辆管理>车队管理>新建车队”，自定义填写车队名称和描述信息，单击“确定”完成车队创建；
  - 名称：包含中英文、数字、“_”“-”，不得超过64个字符；
  - 描述：简要描述车队信息，不包含“@#$%^&*<>\”，不得超过255个字符。
- 单击“配置管理>车辆管理>新建车辆信息”，自定义填写车辆名称。
  
  同时指定该车辆所属车队，选择刚刚创建的车队名称；指定流水线运行模板，选择刚刚创建的流水线模板；
  
  注意： 车辆名称请勿输入个人隐私信息。
- 信息填写好后单击“创建”，提示“创建成功”，可在车辆管理列表查看或修改。车辆管理的详细介绍请参见车辆管理。
配置标定信息
- 上传标定项
  
  单击“配置管理>标定管理>标定项列表>上传标定项”，一个标定文件对应一个标定项。当前支持车架配置以及传感器标定信息配置：车架配置、相机以及激光雷达。标定项即车架配置及各传感器的角度、位置等基本配置信息，格式需符合Octopus规范，请结合实际情况自定义编写“.yaml”标定文件；
  - 标定格式：Octopus；
  - 各类型标定文件模板可参考附录标定文件模板部分；
  - 各类型标定文件示例请参考使用：calibration.rar。
  注意： 上传的各标定项文件数量不得超过平台限制的最大数量。
- 添加标定文件
  
  根据提示选择符合Octopus平台要求的各标定项标定文件，自定义填写标定名称，单击“上传”。将标定项都上传到平台后，单击页面右下角“完成并创建标定”；
  
  一个数据批次对应一个标定，一个标定对应多个标定项。填写标定名称和描述信息，通过标定项“详情”检查标定项内容，可单击页面右下方“上传标定项”新增，也可删除指定标定项。检查无误后单击“确认”。
- 创建后可在标定列表中查看创建的标定和标定项，标定管理详细介绍请参见标定管理。

# 步骤2：上传数据

准备数据

在使用Octopus平台收集数据前，需要先了解平台对数据格式的具体要求，有助于您更快速的完成数据采集，将数据传输至Octopus平台。
- 数据类型：包括各传感器数据、车辆数据、目标推理数据、自车坐标姿态以及标签记录数据等；
- 采集方式：Octopus当前支持Octopus OpenData数据格式。其中摄像机采集数据文件后缀为“.jpg”，激光雷达采集数据文件后缀为“.pcd”，其他采集数据文件后缀为“.pb”。
对于原始数据的详细说明请参见路测数据格式。
上传数据包到OBS桶

准备好自动驾驶车辆采集的数据，可以将不同时段采集的数据包放在同一个一级目录下，也可以分开存放。对原始数据具体要求请参见“路测数据格式”；
创建数据收集任务
- 单击“数据服务>数据收集>收集任务>新建收集任务”。
  
  如图，填写完成后，仔细阅读并勾选“我已阅读并同意《Octopus服务申明》”，单击页面右下方“提交任务”；
- 填写收集任务名称和描述，从本地选择文件夹上传。
  - 任务名称：非必填项，包含中英文、数字、“_”“-”，不得超过64个字符；
  - 任务描述：非必填项，不包含“@#$%^&*<>\”，不得超过255个字符；
  - 选择文件：必填项，可以把文件拖拽到此处或者单击选择文件夹，进行数据文件上传，单次上传有效数据包的数量不超过10个，文件大小暂无限制。
- 单击“提交任务”，收集任务创建成功。
查看收集任务信息

单击收集任务名称后“操作”一栏内“详情”，查看收集任务详细信息。
- 任务流程：收集任务共有选择文件、提交收集任务、开始传输数据、收集任务完成四个阶段，可查看该任务所处阶段；
- 任务详情：任务名称、传输方式、创建时间等信息；
- 数据包：该任务包含数据包中数据包的ID、数据包名称和状态、车辆名称等信息。
查看数据详细信息

数据收集完成后，单击“数据服务>数据收集>数据包”，单击指定数据包后“操作”一栏内的“详情”，查看数据包详情及收集信息。也可通过“数据包ID”、“收集任务ID ”、“车辆名称”和“数据包名称”等维度过滤数据包，或通过数据收集任务的收集时间过滤数据包，快速查找指定数据包。
- 数据包详情分为数据包信息以及收集信息两部分。
  - 数据包信息：分为数据包信息和数据包详情两部分。数据包信息展示数据包所属数据收集任务名称、数据包实时状态等信息；数据包详情以列表形式展示数据包内各传感器数据类型、数据格式、数据量大小等信息；
  - 收集信息：采集车辆基本信息、传感器位置及数据量大小。

# 步骤3：标注数据

标注平台提供平台管理员、团队管理员以及标注任务执行人员三类角色，并为其分配不同的权限，保证标注任务的私密性，确保安全。以下步骤均为平台管理员角色操作。其他角色可执行操作请参考标注平台内相关内容。

创建团队
- 单击“数据服务>标注平台>用户组团队管理>创建团队”；
- 填写团队信息
  - 用户组名称：简要标识该用户组名称，与其他用户组区分，包含中英文、数字、“_”“-”，不得超过64个字符；
  - 团队描述：描述该团队补充信息。不能包含“@#$%^&*<>\”，不得超过255个字符；
  - 选择用户标注员/质检员/验收员：下拉框中选择成员为标注员/质检员/验收员。下拉框中选择该用户组用户。
    说明：
    - 用户已根据如何创建IAM用户？开通IAM账号；
    - 一个用户可加入多个团队，但在团队中只能承担同一角色。
- 单击“确定”。团队用户组创建完毕。

创建项目

单击“标注平台>标注项目>创建项目”；

参考下表填写项目信息

表 1 参数说明

参数	说明
项目名称	项目名称不支持自定义，由需求方、任务类型、预计完成日期以及备注组成。其中，需求方、任务类型以及预计完成时间必填。
标注团队	负责完成该项目的标注团队。团队需提前在“团队管理”中创建完毕。
预计总量	预计项目内所有任务的总量，即图片或点云图像总帧数。
样本类型	标注任务的样本类型。当前有图片和点云两种类型。

单击“确定”，项目创建成功。

创建预标注模板
- 单击“数据服务>标注平台>创建标注模板”，填写模板名称和描述信息；
  - 模板名称：包含中英文、数字、“_”“-”，不得超过64个字符；
  - 模板描述：不包含“@#$%^&*<>\”，不得超过255个字符；
  - 自动激活：需打开激活开关，模板才可被使用；
  - 标注类型：使用预标注模板的任务类型，人工标注和自动标注两类；
  - 样本类型：图片、3D点云；
  - 添加标注：预标注模板包含的标注对象类别，从下拉框中选择。自定义标注需提前在“标注管理”中创建成功。
- 单击“创建”完成，可在预标注模板列表修改模板信息，关于预标注模板详细介绍请参见预标注模板。
创建自动标注任务
- 单击“数据服务>标注平台>标注项目”；
- 单击项目名称，在该项目中的“任务列表”页面单击“创建任务>手动创建”；
- 在“任务信息”部分，填写备注
  
  任务名称由“项目名称-备注”组成。
- 在“选择数据”部分，设置数据筛选条件
  
  样本类型由项目决定，不支持修改。筛选方式有json条件筛选以及自定义筛选两种。
  - 通过json语句筛选样本
    
    输入筛选条件，筛选条件需要以“ElasticSearch”的JSON查询语言表达。单击“check”，筛选出符合条件的样本。
```
{

	"query": {
		"bool": {
			"must": [{
					"match": {
						"sample_type.keyword": "IMAGE"
 //必填。样本类型：图片：IMAGE；3D点云：POINT_CLOUD；
					}
				}, 
				 {
					"match": {
						"des_order": "xxx"
 //必填。数据包ID。可在“数据服务>数据收集>数据包”中查看。
					}
				}, 
			],
			"filter": {
				"script": {
					"script": {
						"source": "doc['image_meta_info.timestamp'].value/1000%1==0"
 //必填。从录制的采集图像中间隔1秒抽取一张图像；
					}
				}
			}
		}
	},
	"sort": [{
			"image_meta_info.name.keyword": {
				"order": "asc"
			}
		}
	]
}
```
  - 自定义筛选
    
    输入数据包编号及抽帧间隔筛选样本。数据包需提前在“数据服务>数据收集”中上传成功。上传数据包请参考上传数据包。
- 选择样本
  - 样本开始位置：从第几个样本开始创建标注任务。默认第一张图片或点云图像；
  - 样本结束位置：标注任务结束的位置。默认最后一张图片或点云图像；
  - 单个任务样本数量：一个标注任务中包含样本的数量，根据筛选结果构建批量标注任务。
    说明：
    - 样本结束位置不得超过筛选结果总数；
    - 样本数量不得超过筛选结果总数。
- 完成“标注设置”
  
  选择预标注模板，输入网页版规范地址，根据需要设置自动预标注开关状态。
  - 标注模板：与标注任务匹配的预标注模板，需提前创建成功并打开激活开关；
  - 自动预标注：开关打开，标注任务可将所选样本中的标注对象依照标注规范自动标出。
- 以上信息填写无误后，单击“创建并返回”。若需批量创建任务，单击“创建不返回”，参照上述步骤继续创建任务。
- 质检自动标注任务
  - 自动标注完成后，对自动标注任务的完成质量进行确认。单击任务名称后“操作”一栏内的“质检”，配置质检比例，单击确定；
  - 单击任务名称，进入该标注任务界面，单击“待质检”。单击任意一张图片，进入质检界面。
    - 若样本中所有标注框正确，单击“质检通过”；
    - 若样本中有标注框错误，右键标注框，选择质检属性，单击“质检未通过”。
- 验收自动标注任务
  
  自动标注任务质检通过后，由质检员提交给验收员进行验收。验收员根据验收标准验收任务。任务通过验收，单击“提交”，任务完成。

# 步骤4：创建数据集

对数据进行处理和标注后，您需要创建一个数据集进行自动驾驶模型训练，请确保所需数据已完成标注。

单击“数据服务>数据集>新建数据集>创建数据集”，参考下表创建数据集。

表 2 新建数据集参数说明（含*为必填项）

参数	说明
名称*	自定义数据集名称，不得超过64个字符。支持中英文、数字、“-”、“_”，不支持特殊字符。
描述	数据集内容、用途等的简要描述，不包含“@#$%^&*<>\”，不得超过255个字符。
创建版本*	数据集版本号，新建默认版本为v1。
标注格式*	当前支持Pascal_VOC 和OCTOPUS格式。
数据类型筛选*	数据集的数据类型，支持“图片”和“3D点云”。
难例数据*	打开难例开关，将同步创建难例数据集。
脱敏*	打开开关，图片中包含车牌、人脸等敏感信息将打马赛克做脱敏处理。
数据源入库时间	单击选择数据源入库的开始时间和结束时间。缺省值为空，将不限定数据源入库时间。
数据源标注时间	单击选择数据源标注的开始时间和结束时间。缺省值为空，将不限定数据源标注时间。
添加标注任务ID	支持批量添加标注任务。输入标注任务ID，筛选包含ID的标注任务。
筛选标注任务	选择标注任务用于生成数据集。支持选择人工和自动标注任务。缺省值为空，将不指定标注任务。
筛选标注label	选择指定标注label。缺省值为空，将不限定标注label。
筛选标签tag	选择指定标签tag。缺省值为空，将不限定标签tag。

数据集创建完毕后，可在数据集列表页面查看、删除、更新数据集版本。数据集详细介绍请参见创建数据集。

← 总览创建训练模型 →