仿真任务报告
在任务管理页面,您可以看到多批次任务的实时进程以及所处状态。单击指定任务名称,您可以看到该任务的详细信息。在任务详情页面,您可以看到该任务的创建时间、启动时间、运行时间、完成时间以及任务的状态等信息,同时展示任务下的所有场景的运行结果分析,包括对一些自动驾驶性能指标的结果分析,场景的综合得分以及最后的运行结果,支持仿真软件回放场景以及将场景的结果进行可视化处理。

仿真结果评价指标
仿真任务得分高低,该任务是否通过检测,该任务使用的仿真算法控制质量如何由多个仿真评估指标从多个角度衡量评判。下面详细介绍每个指标评估内容。
评价指标 | 英文名称 | 说明 |
碰撞检测
| anomalycollision | 判断主车是否与其他交通参与物发生碰撞, 并对碰撞类型、方位进行细分 |
闯红灯检测
| run redlight | 判断主车是否闯红灯 |
绿灯通行检测
| drive through greenlight | 判断主车在交通灯变绿后能否正常通行以及 重新启动的时间是否太长 |
压实线检测 | onto_solid_line | 判断主车行驶时是否压到车道两边的黄(白)实线 |
实线换道检测 | solidline lanechange | 判断主车换道时是否违法实线换道 |
逆行检测 | reverse direction driving | 判断主车是否逆向行驶 |
车头时距检测 | risk short timeheadway | 判断主车是强跟弛还是弱跟弛 |
碰撞时间检测 | risk short ttc | 碰撞主车发生碰撞的风险概率大小 |
急转向检测 | over turn | 判断主车行驶过程中侧向加速度是否过大 |
在路检测 | on road | 判断主车是否行驶在正常的道路上 |
道路限速检测 | over speed | 判断主车是否高于道路最高限速 |
礼让行人检测 | polite to pedestrian | 判断主车在遇到行人时能否合理的礼让 |
预测旁车切入响应检测 | response to cut in | 判断主车是否能对前车切入行为进行预测并提前做出响应 |
预测旁车切出响应检测 | response to cut out | 判断主车是否能对前车切出行为进行预测并提前做出响应 |
换道检测 | lane change | 判断主车换道时的侧向加速度和换道持续时间是否合理 |
自由驾驶稳定车速检测 | stable free driving | 判断主车在自由行驶时的车速能否保持在一个 稳定的水平,不会产生太大波动 |
跟车起停检测 | stop and go | 判断主车能否跟随前车停止并且在前车启动后 正常启动 |
车道保持检测 | lane keeping | 判断主车能否保持车道中央行驶 |
预测对向车辆占道响应检测 | response to encroaching car | 判断有对向行驶车辆侵占主车车道,主车能否 进行预测并提前做出响应 |
前方车道减少主动换道检测 | response to lane decrease | 判断主车在前车车道减少时能否提前进行换道 进而避免驶出车道 |
平顺性检测 | ride comfort | 主要判断主车行驶过程中的纵向和侧向加速度 均方根值是否太大 |
急刹检测 | emergency braking | 判断主车是否达到ACC的制动极限或AEB的制动极限 |
平稳起步检测 | gentle start | 判断主车起步时是否平稳 |
加速度检测 | anomaly acc x | 判断主车整个行驶过程中不同速度下的加速度 是否超过对应的阈值 |
加速度变化率检测 | over jerk | 判断主车行驶过程中的纵向和横向冲击度是否 超过阈值 |
乘员舒适性检测 | driving comfort | 判断主车在行驶过程中的速度方差是否太大 |
蛇行检测 | snake driving | 判断主车行驶过程总是否会由于横向控制效果 不好而导致侧向速度短时间内正负来回变化 |
限速标志牌前限速检测 | speed limit sign | 判断主车是否高于(或低于)交通标志牌的限速 |
禁止标志牌前行为检测 | prohibition sign | 判断主车在禁止类标志前是否发生了禁止类标志禁止的行为 |
警告标志牌前行为检测 | warning sign | 判断主车在警告类标志前是否发生了不恰当的行为 |
指示标志牌前行为检测 | mandatory sign | 判断主车在指示类标志牌前是否有不恰当的行为 |
道路标识线前行为检测 | road marking line | 判断主车在道路标识线前是否有不恰当的行为 |
车辆灯光使用规则检测 | vehicle light rule | 判断主车能否正确的使用灯光 |
高速公路出入口行为检测 | motorway entry exit | 判断主车在高速公路出入口行为是否合理 |
接管行为检测 | take over | 判断主车自动驾驶算法的接管和脱离行为是否 合理 |
泊车检测 | automated parking | 判断主车泊车时的行为是否合理 |
注意:
任务类型为ROSBAG时,评测指标及评测结果报告请参考resim评测结果。
使用失败场景新建任务
仿真任务通常包含多个仿真场景,以从不同条件检测仿真算法的控制质量。评测任务结束后,计算评测得分以及评测结果,评测结果说明请见下表。评测不通过的场景可再次创建评测任务,对仿真算法优化。使用失败场景新建任务操作与创建仿真任务一致,请参考创建仿真任务。
表 1 运行结果及说明
运行结果 | 说明 |
成功 | 场景得分大于等于设定阈值即成功。默认分数为60分。 |
失败 | 场景得分小于设定阈值即失败。默认分数为60分。 |
未完成 | 整个任务未完成时,会存在部分场景未完成状态。 |
异常 | 仿真场景或仿真算法存在异常。需检查排除异常后重新创建任务。 |
任务分析
仿真算法的质量由仿真结果呈现,仿真服务模块以自动驾驶过程中关键指标的评分为依据对仿真任务进行评估,并支持您对仿真任务中的场景以回放和可视化图表的形式进行查看。
查看回放:任务已完成且创建任务时选择录制场景策略,则支持回放场景。VTD格式仿真场景在场景后单击“回放”,选择一台分配给当前账号且不处于“系统镜像备份中”、“系统镜像恢复中”的仿真机器进行回放。ROSBAG类型仿真在场景后单击回放,跳转至数据服务的数据回放模块进行回放,详情请参考数据回放;
算法日志下载:您可将仿真任务的日志下载至本地查看。日志采集由录制策略决定;
说明:
内置算法不支持日志下载。
可视化结果:如下图所示,在已完成的任务中,在场景后单击“可视化结果”,则以图表的形式展现该场景自动驾驶过程中的关键数据的变化。有关可视化图表的操作请参见下表。


表 2 图表操作
图表操作 | 操作步骤 |
查看图表 | 在页面上,从左至右分别表示异常数据、速度、加速度、期望值、与引导车相对关系等数据在一次仿真场景中的变化。 |
添加图表 | 单击空白模块的 ,选择数据来源和图表类型。 |
关闭图表 | 单击图表右上角的“×”,可关闭图表。 |
过滤图表 | 在过滤的选择框中选中需要保留展示的指标,页面会展示只保留相应指标的图表。 |
下载图表 | 单击图表右上方的 ,图表可下载到本地,文件后缀为“.json”和“.webp”形式。 |
图表分析
评测任务运行过程中,将一些衡量自动驾驶质量的关键指标,如速度、加速度等,以及一些需引起注意的异常数据在仿真场景中变化量绘制成图表,便于您直观考量规控算法的控制质量。您也可将业务所需关注的数据集合成新的图表。
异常数据表:检测数据在评测任务运行中是否发生异常,若在某时刻发生异常,则在该时刻标示异常指标图例。若异常持续存在,则会由连续的点形成一条线。一张异常数据表最多支持展示5个异常指标;

速度:主车x方向、y方向(横向和纵向)速度在自动驾驶过程中的变化趋势;

加速度:主车x方向、y方向(横向和纵向)加速度在自动驾驶过程中的变化趋势;

期望值:主车期望速度(speedTarget)、期望加速度(accTarget)、期望前轮转角(steeringTarget)在自动驾驶过程中的变化趋势;

与引导车相对关系:主车与引导车相对速度(relativeSpeed)、主车与引导车相对距离(relativeDistance)、车头时距(TimeHeadway)、碰撞时间(TTC)在自动驾驶过程中的变化趋势;

说明:
realtiveSpeed、relativeDistance、TH、TTC值衡为-1时表示主车前方无引导车。
加速度变化率:纵向、侧向加速度在仿真场景中的变化情况;

速度方差、纵向以及侧向加速度均方根值在场景中的变化情况。

自动驾驶脱管次数、倒车入库次数

任务报告
如下图所示,在“任务管理”页面,任务的实时状态以进度条的形式展现。处于完成状态的仿真任务,您可以将仿真结果以PDF形式下载到本地查看。
在运行完成的任务后的“更多”一栏,选择“下载PDF”,将仿真结果下载到本地并查看。
