# 创建数据收集任务

在Octopus上进行自动驾驶开发时,首先您需要把原始数据上传至Octopus平台,即数据上云。后续的操作,如处理数据、场景挖掘、回放数据、标注数据、创建数据集等操作,都是在Octopus上完成的。下文介绍了数据收集任务的创建,帮助您把车载平台输出的数据上传至华为云Octopus上。

# 任务流程

数据收集任务的流程如下所示。

# 创建任务

把原始数据上传至Octopus平台前,首先您需要创建数据收集任务,创建数据收集任务的操作步骤如下:

  1. 登录Octopus管理控制台,单击“数据服务”>“数据收集”。

  2. 单击“新建收集任务”,请参考下表填写具体信息。

    选择目标数据包所在的OBS路径,平台将自动扫描该目录下所有子目录。包含“octopus_data_collection.yaml”文件的子目录将被识别为有效数据包,可导入。上传数据前,请确保原始数据包含必要的有效文件。请参考下表,填写任务具体信息。

    表 1 数据收集参数说明(含*为必填项)

    参数

    说明

    OBS目录*

    建议OBS目录选择包含“octopus_data_collection.yaml”文件的上一级目录。

    数据包筛选*

    数据包需包含符合平台要求的传感器数据文件。详细请参考准备数据。平台最多支持不超过10个有效数据包,对数据包处理。

    访问秘钥*(AK/SK)

    包含访问密钥ID(AK)和私有访问密钥(SK)两部分,导入数据时,通过AK识别访问用户的身份,通过SK对请求数据进行签名验证,用于确保请求的机密性、完整性和请求者身份的正确性。密钥获取方式请参见“如何获取访问密钥AK/SK?”。

    任务名称

    包含中英文、数字、“_”“-”,不得超过64个字符。

    任务描述

    不包含“@#$%^&*<>/”,不得超过255个字符。

  3. 单击查看《Octopus服务申明》。

    确认无误后,勾选“我已阅读并同意《Octopus》服务申明”,单击“提交任务”。

  4. 预览收集任务信息。

    确认无误后单击“确认”,系统将生成数据收集任务ID,提示“创建成功”后平台将从OBS导入该数据包。收集任务状态为“已提交”。

  5. 查看收集任务状态。在收集任务列表,您可通过查看收集任务所处状态了解收集任务当前进度。

    • 已提交:确认数据收集任务无误,收集任务状态为“已提交”,该过程很短暂,很快转变为“传输中”。
    • 传输中:收集任务创建成功,数据包传输至Octopus平台。
    • 已完成:数据包已传输至Octopus平台,数据收集任务已完成。
    • 失败: 因某些原因导致数据收集任务创建失败。如初始化OBS桶失败。

数据收集任务新建完成后,系统自动跳至收集数据页面,针对创建好的数据收集任务,您可以通过查看数据收集任务详情,实时跟进任务的流程进度,具体操作请见查看任务详情

# octopus_data_collection.yaml文件说明

数据包中不可缺少“octopus_data_collection.yaml”配置文件,否则将无法从OBS导入。编写该文件,主要包括车辆名称和标定ID等信息,详情可参考如下。

注意: 配置文件中采集时间、车辆名称、gnss关键字为必填项,各类型传感器的名字必须和文件夹名称一致,格式也必须与规范相匹配,否则会导致数据上传Octopus平台失败。

  • Octopus OpenData数据格式

    # 华为八爪鱼自动驾驶云服务数据采集说明
    cardrive:
        datetime: 2020-11-01T08:00:00+08:00    #必填。精确到小时即可
        station: '腾飞'                        #站点名称
        car: 
            vehicle_name: 'test0805'               #必填。车牌号
            calibration_id: 78                     #标定ID
        route: 'shuttlebus_30km'
        mode: 'auto'                           #路线驾驶意图, auto代表自动驾驶, manual代表人工驾驶采集    
        tags:
        description: ''
    data_type: opendata
    folders:
        camera:                                 #camera数量不得超过20个
            -
                name: camera_03encode
                format: jpg
        lidar:                                  #lidar数量不得超过10个
            -
                name: pandar
                format: pcd
        gnss:                                   #必填。gnss不得超过1个
            -
                name: inspvax
                format: proto3
        vehicle:                               #vehicle不得超过1个
            -
                name: holo_VehicleInfoMagotan
                format: proto3
        ego_tf:                                #必填。ego_tf不得超过1个
            -
                name: localization_info
                format: proto3
        object_array_vision:  
             -                                #object_array_vision不得超过1个        
                name: tracked_objects
                format: proto3
        tag_record:                           #tag_record不得超过1个
            -
                name: tag_record
                format: proto3 
    

    说明:

    • Octopus平台对Octopus OpenData数据包内文件大小做出一定限制:
    • “.yaml”文件小于10kb;
    • “.jpg”文件小于2MB;
    • “.pcd”文件小于10MB;
    • “.pb”文件小于50MB;
    • 数据名称仅包含中文、大小写英文、数字、“-”“_”,不超过64位。
上次更新: 2020/12/25 16:26:48