模型评估

模型评估根据检测模型常用的评估参数对模型的质量进行评价。模型评估包含创建评估任务和查看评估结果两方面。Octopus平台模型评估支持基于“精确率”、“召回率”、“漏检率”、“误检率”、“F分数”、“平均中心点距离”、“平均尺寸误差”、“均值精度（AP，Average Precision）”和“平均均值精度（mAP）”几个维度对模型进行综合评估，辅助开发者进行模型性能分析，数据集支持选择“数据服务”中已有数据集，或直接从OBS中选择。

评估参数

评估任务配置多维度的模型评估参数信息，帮助开发者从多个角度考量模型性能。有关评估任务的参数信息，请参考下表。

表 1 模型评估指标说明

参数	说明
精确率	针对预测结果，表示的是预测为正的样本中有多少是真正例。
召回率	针对样本本身，表示的是样本中的正例有多少被预测正确。
误检率	针对预测结果，表示的是预测为正的样本中有多少是假正例。
漏检率	针对样本本身，表示的是样本中的正例有多少被错误预测。
F分数	又称平衡F分数（balanced F Score），是精确率和召回率的调和平均数，用来综合衡量模型精确度。
均值精度	指的是每个目标检测类别中，不同召回率下的精确率的平均值。
平均均值精度	指的是不同目标检测类别、不同召回率下的精确率的平均值。
平均中心点距离	指的是正例中心点，距离对象正外接矩形中心点距离的平均值
平均尺寸误差	指的是正例和对象正外接矩形交并比的均值。

评估任务

评估任务模块支持用户创建、重启、删除评估任务以及停止评估任务。同时支持在线查看或下载评估日志，方便模型评估过程中查找和定位问题。

单击评估任务名称，在任务详情页面，展示该任务选择的数据集版本名称、任务所处的状态以及任务的开始时间、修改时间、结束时间等信息。

查看评估结果

评估任务处于“已完成”状态时，表示任务已经结束，可以查看评估结果。单击任务名称，在任务详情页面的评估结果部分，以列表的形式展现模型的各项参数的评估结果。有关参数的具体说明请参考下表。

表 2 评估结果参数及说明

参数	说明
参数值	参数组。平台将您设置的各项评估指标的min_iou、min_score、或beta值以“[min_iou, min_score, (beta)]”列表的形式展现。例如： 若min_iou=0.5，min_score=0.8，则展现形式为：[0.5,0.8]； 若min_iou=0.5，min_score=0.8，beta=1，则展现形式为：[0.5,0.8,1]。
总数	模型针对每种目标检测类型的评估结果，计算得到的均值，以百分数的形式展现。
模型检测到的目标类别	模型针对每种目标检测类型的评估结果。检测到的物体如car 、pedestrain 、 bus 、traffic lights等的模型评估参数precision 、recall 、mAP得分。
P-R曲线	P-R曲线即精确率（Precision）&召回率（Recall）曲线，横轴为召回率，纵轴为不同召回率下对应的精确率的值。