根据算法测试过程中遇到的一些问题和管理规范, 梳理出算法测试工作需要关注的一些点:
| 编号 | 名称 | 描述信息 | 备注 |
| 1 | 明确算法测试需求 |
明确测试目的
明确测试需求, 确认测试需要的数据及场景
明确算法服务流程, 确认算法输入\输出的数据, 并向开发人员提出相关数据的输出要求
确认时间节点与人力支持
|
在需求评审阶段确认
若无评审, 需要跟相关人员进行确认
算法测试需求种类:
01.算法测试种类
注： 强烈建议事先对评审的项目的业务有所了解，对后续测试方案和数据采集有较大影响
|
| 2 | 编写测试方案 |
确认算法测试主要场景和测试场景信息
确认各场景测试数据需求量
确认算法标签标准
确定算法性能指标定义及计算公式
|
算法测试方案模板:
算法测试方案模板v1.0
测试方案模板示例:
算法测试方案模板v1.0/示例--阅读机二期/ASR算法服务
|
| 3 | 测试数据方案 |
确认数据采集场所
确认数据采集设备及能够正常使用
确认数据采集人员及进度安排
数据检查\清洗与归类
测试报告生成日期
|
测试数据方案模板:
测试数据方案模板v1.0
测试数据方案示例: 测试数据方案模板v1.0/示例--阅读机二期/ASR算法测试数据
|
| 4 | 算法测试 |
确认算法相关细节, 主要参考使用文档或与算法人员沟通
测试脚本编写
测试指标统计及badcase样例展示与保存
|
|
| 5 | 形成测试报告 |
得出测试结论, 与测试目的保持一致
测试小结, 总结测试过程中发现的其他问题
badcase统计与展示
|
测试报告模板:
AI算法测试报告模板v1.1
测试报告示例1:
智能识题算法评测报告-v0.2.0
|
| 6 | 测试结果同步 |
badcase同步
测试细节同步
后续结果跟进
|
|
| 7 | 测试数据与测试报告管理 |
对测试数据质量进行管理
测试数据版本管理
测试报告结果管理
|