# 创建数据收集任务

在Octopus上进行自动驾驶开发时，首先您需要把原始数据上传至Octopus平台，即数据上云。后续的操作，如处理数据、场景挖掘、回放数据、标注数据、创建数据集等操作，都是在Octopus上完成的。下文介绍了传输数据的方式，帮助您把车载平台输出的数据上传至Octopus云平台上。

# 任务流程

数据收集任务的流程如下所示。

# 本地直传数据

把本地数据直接上传至Octopus平台，相比OBS导入创建收集任务，降低储存成本，用户使用更简单方便。

本地直传创建数据收集任务的操作步骤如下：

登录Octopus管理控制台，单击“数据服务”>“数据收集”。
单击“新建收集任务”选择“本地直传”，请参考下表填写具体信息。
- 任务名称：非必填项，包含中英文、数字、“_”“-”，不得超过64个字符；
- 任务描述：非必填项，不包含“@#$%^&*<>\”，不得超过255个字符；
- 选择文件：必填项，可以把文件拖拽到此处或者单击选择文件夹，进行数据文件上传，单次上传有效数据包的数量不超过10个，文件大小暂无限制。
  
  注意： 当数据文件被拖拽到上传区域或选择文件夹上传后，会校验octopus_data_collection.yaml文件，若数据包中不包含“octopus_data_collection.yaml”文件，或者“octopus_data_collection.yaml”文件校验不通过，则该数据包不会被加入到收集任务。
提交收集任务

查看《Octopus服务申明协议》，同意请勾选，并单击提交任务，系统将生成数据收集任务ID，提示“收集任务创建成功”后平台将从本地导入该数据包，收集任务状态为“传输中”。

说明： 本地直传收集任务创建成功后，若中途刷新页面、关闭浏览器或者登出账号，会导致收集任务失败，当后台检测出一定时间内上传的数据量没有增加后，正在上传的数据包置为异常状态，等待上传的数据包无法再进行上传。

数据收集任务新建完成后，系统自动跳至收集数据页面，针对创建好的数据收集任务，您可以通过查看数据收集任务详情，实时跟进任务的流程进度，具体操作请见查看任务详情。

# octopus_data_collection.yaml文件说明

数据包中不可缺少“octopus_data_collection.yaml”配置文件，否则将无法创建数据收集任务。编写该文件，主要包括车辆名称和标定ID等信息，详情可参考如下。

注意： 配置文件中采集时间、车辆名称、ego_tf关键字为必填项，各类型传感器的名字必须和文件夹名称一致，格式也必须与规范相匹配，否则会导致数据上传Octopus平台失败。

Octopus OpenData数据格式

# 华为八爪鱼自动驾驶云服务数据采集说明
cardrive:
    datetime: 2020-11-01T08:00:00+08:00    #必填。精确到小时即可
    station: '腾飞'                        #站点名称
    car: 
        vehicle_name: 'test0805'               #必填。车牌号
        calibration_id: 78                     #标定ID
    route: 'shuttlebus_30km'
    mode: 'auto'                           #路线驾驶意图, auto代表自动驾驶, manual代表人工驾驶采集    
    tags:
    description: ''
data_type: opendata
map_id:''                                  #非必填项，地图ID，字符串类型
folders:
    camera:                                 #camera数量不得超过20个
        -
            name: camera_03encode
            format: jpg
    lidar:                                  #lidar数量不得超过10个
        -
            name: pandar
            format: pcd
    gnss:                                   #必填。gnss不得超过1个
        -
            name: inspvax
            format: proto3
    vehicle:                               #vehicle不得超过1个
        -
            name: holo_VehicleInfoMagotan
            format: proto3
    ego_tf:                                #必填。ego_tf不得超过1个
        -
            name: localization_info
            format: proto3
    object_array_vision:  
         -                                #object_array_vision不得超过1个        
            name: tracked_objects
            format: proto3
    tag_record:                           #tag_record不得超过1个
        -
            name: tag_record
            format: proto3

说明：

Octopus平台对Octopus OpenData数据包内文件大小做出一定限制：

“.yaml”文件小于10KB;

“.jpg”文件小于2MB；

“.pcd”文件小于10MB；

“.pb”文件小于50MB。

数据名称仅包含中文、大小写英文、数字、“-”“_”，不超过64位。

← 概述管理数据收集任务 →