新建数据集

创建数据集

对数据进行处理和标注后，您需要创建一个数据集进行自动驾驶模型训练，本节介绍如何在Octopus上创建数据集。

前提条件

请确保已完成数据标注。

操作步骤

1. 登录Octopus管理控制台，在左侧菜单栏中单击“数据服务>数据集>新建数据集”。

2. 单击“创建数据集”，填写数据集信息。

3. 填写数据集基本信息

   

   • 数据集名称：自定义数据集名称，不得超过64个字符。支持中英文、数字、“-”、“_”，不支持特殊字符；
   • 数据集描述：数据集内容、用途等的简要描述，不包含“@#$%^&*<>\”，不得超过255个字符；
   • 创建版本：数据集版本号，新建默认版本为v1。

4. 选择标注格式

   当前标注格式有Pascal_VOC和OCTOPUS两种格式，其中OCTOPUS格式用于标注平台从OBS创建重标任务，请勿用于训练。

5. 设置已标注数据过滤选择项

   参考下表填写，含“*”为必填项。

   

   表 1 已标注数据过滤选择项说明（含*为必填项）

   参数	说明
   数据类型*	数据集的数据类型，有“图片”和“3D点云”两类。
   难例数据集*	打开开关，将同步创建难例数据集。
   脱敏*	打开开关，图片中包含车牌、人脸等敏感信息将打马赛克做脱敏处理。
   数据源入库时间	单击选择数据源入库的开始时间和结束时间。缺省值为空，将不限定数据源入库时间。
   数据源标注时间	单击选择数据源标注的开始时间和结束时间。缺省值为空，将不限定数据源标注时间。
   添加标注任务ID	支持批量添加标注任务。输入标注任务ID，筛选包含ID的标注任务。
   筛选标注任务	选择标注任务用于生成数据集。支持选择人工和自动标注任务。缺省值为空，将不指定标注任务。
   筛选标注label	选择指定标注label。缺省值为空，将不限定标注label。
   筛选标签tag	选择指定标签tag。缺省值为空，将不限定标签tag。

   创建完数据集后，系统自动跳至数据集列表页面，您可以在该页面对数据集进行查看、删除、更新版本操作。

本地直传数据集

Octopus平台支持您从本地上传OCTOPUS、Pascal_VOC和自定义标注格式的数据集，其中OCTOPUS标注格式的数据集用于创建标注任务，Pascal_VOC和自定义标注格式的数据集，用于创建训练任务。

操作步骤

1. 单击“数据服务>数据集>新建数据集>本地直传”。

2. 填写数据集信息

   

   表 2 数据集信息说明（带*为必填）

   参数	说明
   数据集名称	自定义数据集名称，不得超过64个字符。支持中英文、数字、“-”、“_”，不支持特殊字符。
   数据集描述	数据集内容、用途等的简要描述，不包含“@#$%^&*<>\”，不得超过255个字符。
   标注	数据集中包含的标注类型。
   创建版本	数据集版本号。默认创建数据集版本为1.0版本。
   标注格式	当前Octopus预置标注格式有Pascal_VOC和OCTOPUS两种格式，其中OCTOPUS格式用于标注平台从OBS创建重标任务，请勿用于训练。 自定义标注格式名称不得超过64个字符。支持中英文、数字、“-”、“_”，不支持特殊字符。 Pascal_VOC：若您上传的是Pascal_VOC格式数据集，则可以使用内置算法进行训练，同时数据集需要符合一定的格式规范，详情请参见“Pascal_VOC数据集格式说明”； 注意： 如果是用户自定义的Pascal_VOC格式，请使用别的名称，例如“VOC”。 自定义数据集格式：若您上传的是其他格式数据集，则需要在训练服务中，上传和数据集格式匹配的算法，以便进行后续训练，上传方式请参见“自定义算法”。 OCTOPUS：创建OCTOPUS标注格式的数据集，用于标注平台从OBS导入创建标注任务，创建的OCTOPUS数据集需要符合OCTOPUS格式的规范，详情请参见OCTOPUS数据集格式说明。
   数据集类型	数据集的数据类型，有“图片”和“3D点云”两类。
   难例数据集	打开开关，将同步创建难例数据集。

3. 上传文件

   本地选择数据源文件。