# 创建数据收集任务
在Octopus上进行自动驾驶开发时,首先您需要把原始数据上传至Octopus平台,即数据上云。后续的操作,如处理数据、场景挖掘、回放数据、标注数据、创建数据集等操作,都是在Octopus上完成的。下文介绍了数据收集任务的创建,帮助您把车载平台输出的数据上传至华为云Octopus上。
# 任务流程
数据收集任务的流程如下所示。
# 创建任务
把原始数据上传至Octopus平台前,首先您需要创建数据收集任务,创建数据收集任务的操作步骤如下:
登录Octopus管理控制台,单击“数据服务”>“数据收集”。
单击“新建收集任务”,请参考下表填写具体信息。
选择目标数据包所在的OBS路径,平台将自动扫描该目录下所有子目录。包含“octopus_data_collection.yaml”文件的子目录将被识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件。请参考下表,填写任务具体信息。
表 1 数据收集参数说明(含*为必填项)
数据包需包含符合平台要求的传感器数据文件。详细请参考准备数据。平台最多支持不超过10个有效数据包,对数据包处理。
包含访问密钥ID(AK)和私有访问密钥(SK)两部分,导入数据时,通过AK识别访问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。密钥获取方式请参见“如何获取访问密钥AK/SK?”。
单击查看《Octopus服务申明》。
确认无误后,勾选“我已阅读并同意《Octopus》服务申明”,单击“提交任务”。
预览收集任务信息。
确认无误后单击“确认”,系统将生成数据收集任务ID,提示“创建成功”后平台将从OBS导入该数据包。收集任务状态为“已提交”。
查看收集任务状态。在收集任务列表,您可通过查看收集任务所处状态了解收集任务当前进度。
- 已提交:确认数据收集任务无误,收集任务状态为“已提交”,该过程很短暂,很快转变为“传输中”。
- 传输中:收集任务创建成功,数据包传输至Octopus平台。
- 已完成:数据包已传输至Octopus平台,数据收集任务已完成。
- 失败: 因某些原因导致数据收集任务创建失败。如初始化OBS桶失败。
数据收集任务新建完成后,系统自动跳至收集数据页面,针对创建好的数据收集任务,您可以通过查看数据收集任务详情,实时跟进任务的流程进度,具体操作请见查看任务详情。
# octopus_data_collection.yaml文件说明
数据包中不可缺少“octopus_data_collection.yaml”配置文件,否则将无法从OBS导入。编写该文件,主要包括车辆名称和标定ID等信息,详情可参考如下。
注意: 配置文件中采集时间、车辆名称、gnss关键字为必填项,各类型传感器的名字必须和文件夹名称一致,格式也必须与规范相匹配,否则会导致数据上传Octopus平台失败。
Octopus OpenData数据格式
# 华为八爪鱼自动驾驶云服务数据采集说明 cardrive: datetime: 2020-11-01T08:00:00+08:00 #必填。精确到小时即可 station: '腾飞' #站点名称 car: vehicle_name: 'test0805' #必填。车牌号 calibration_id: 78 #标定ID route: 'shuttlebus_30km' mode: 'auto' #路线驾驶意图, auto代表自动驾驶, manual代表人工驾驶采集 tags: description: '' data_type: opendata folders: camera: #camera数量不得超过20个 - name: camera_03encode format: jpg lidar: #lidar数量不得超过10个 - name: pandar format: pcd gnss: #必填。gnss不得超过1个 - name: inspvax format: proto3 vehicle: #vehicle不得超过1个 - name: holo_VehicleInfoMagotan format: proto3 ego_tf: #必填。ego_tf不得超过1个 - name: localization_info format: proto3 object_array_vision: - #object_array_vision不得超过1个 name: tracked_objects format: proto3 tag_record: #tag_record不得超过1个 - name: tag_record format: proto3
说明:
- Octopus平台对Octopus OpenData数据包内文件大小做出一定限制:
- “.yaml”文件小于10kb;
- “.jpg”文件小于2MB;
- “.pcd”文件小于10MB;
- “.pb”文件小于50MB;
- 数据名称仅包含中文、大小写英文、数字、“-”“_”,不超过64位。