BOT 新零售技术挑战赛 - 结果提交
第三届上海 BOT 新零售数据智能创新应用国际大赛
提交时间
测试集 1 发布后每天可提交结果，排行榜每日下午 16:00 可刷新成绩，此成绩仅作为晋级决赛参考。
测试集 2 在决赛日公布下载，参赛者需要在测试集公布后半小时内提交最终测试结果。最终排名依据测试集 2。
提交格式
1.参赛团队需要提交算法在测试集上的最终结果文件，以 json 格式提供，整个验证集的结果统一放在一个 json 文件中，并将 json 文件提交。
2.json 文件命名格式：<参赛组名>_ <测试集名称><日期><提交序号>.json，其中测试集名称分别为 val1 和 val2，对应测试集 1 和测试集 2，日期格式 yyyy-mm-dd，提交序号从 1 开始，每天清零，当天每提交一次提交序号递增 1，如：group1_val1_20180630_1.json代表参赛组 group1 在2018年6月30日针对测试集 1 的第一次提交
3.内容格式详见下文示例，其中每张图片的结果为 results 数组的一个元素，该元素为一个 json 对象，包含了对应的图片的所有行人检测识别的预测结果，预测结果内容：
(1) 行人检测定位结果，包括图像中目标对象 Bounding Box 的坐标以及预测的置信度，坐标为对象的矩形框的左上角和右下角坐标，以原图尺寸上的坐标值表示 (以原图左上角为原点)。
(2) 属性、行为类别的预测结果，以置信度表示。
注意：参赛方需保证格式正确
提交结果文档说明
本比赛的结果为 JSON 格式，请各位选手在提交前自行检查提交结果的格式是否正确。
大赛提供三种方式进行检查：
1.根据 JSON 提交样例编写自己的结果文件，请在数据集处下载。
2.可使用如下链接进行检查 http://www.bejson.com/。
3.根据格式检查工具检查自己内部文件格式，格式检查工具在数据集处下载。
提交结果示例
提交要求
(1) 要求参赛者给出算法在测试集上的最终结果文件，该文件为 JSON 格式，参赛者必须保证文件格式的正确性。
(2) 比赛时间为2018年7月17日 - 2018年10月10日，8月13日测试集 1 公布后每天可提交结果，10月8日24:00截止提交。每个提交日 (00:00 - 24:00) 可重复提交，重复提交的预测结果文件将会覆盖之前的版本，评测将以当日最后一次提交的文件为准，次日16:00更新排行榜。10月10日测试集 2 公布后半小时内，参赛队伍需要完成最终结果的提交，超时后不能再进行提交。每支参赛队伍只能提交一份最终结果。
(3) 仅参赛团队队长有提交权限。
(4) 比赛选取其中最优成绩作为晋级标准。
(5) 终极验证环节：为了保证比赛的公平性和公正性，大赛设置终极验证环节，终极验证环节成绩将作为获奖资格评判的重要标准。
(6) 比赛环境：参赛者在比赛期间可以下载数据。本比赛为离线比赛，对开发环境没有限制。
评测标准
1.分别对行人检测定位和行人属性行为进行准确率加权评测，总分为 100 分，其中行人检测定位权重占比 30% (30 分)，行人属性行为占比 70% (占 70 分)。
2.行人检测定位准确率统计方法
(a) 统计检测结果坐标与标注坐标的对象矩形差异，以预测矩形和标注矩形的左上角和右下角坐标的偏差进行评测：
标注矩形左上角坐标为 (lx0, ly0)，右下角坐标为 (rx0, ry0)，宽为 w0，高为 h0，
预测矩形左上角坐标为 (lx1, ly1)，右下角坐标为 (rx1, ry1)，宽为 w1，高为 h1，
误差 e 为：
(b) 对所有的图片的对象，统计误差 e 与置信度乘积的和，得出行人检测定位准确率：
其中 N 为对象总数， 为第 i 个对象的误差， 为第 i 个对象的置信度。
3.行人属性行为准确率统计方法
(a) 模型预测某项属性的置信度 ＞ 0.5 时，认为具备该项属性/行为 (对于互斥的属性，取置信度较大的为准)。
(b) 如果图像 i 某项标注标签与模型预测的标签一致，则认为该属性预测正确，预测正确数 加 1，否则预测正确数不变，该图片的预测正确率计算如下：
，其中 T 为图像 i 标注标签总数。
(c) 平均准确率 D 计算：
其中 N 为图片总数。
4.最终准确率 P 为：