一些重要的链接
- vqa_eval官方API链接：http://www.visualqa.org/evaluation.html
- VQA 官网的链接：https://visualqa.org/
- VQA CP数据集及论文链接：https://www.cc.gatech.edu/~aagrawal307/vqa-cp/
VQA 1.0
- Test的地址：www.codalab.org，分为test-dev, test-std，其中dev的所有QA pairs都来自于test-std。一般用来测试的json文件，前者也会比后者小很多
注意事项：
- test-std上传数量有限，每个账号总共只能上传5次。且也有每日上限制。
- 上传前，把json文件压缩为results.zip再上传，其中json文件命名格式需为vqa_[task_type]_[dataset]_[datasubset]_[name]_results.json, 例如：vqa_OpenEnded_mscoco_model-name_results.json，其中model-name可以替换
VQA 2.0
- Test的地址：https://evalai.cloudcv.org/web/challenges/challenge-page/514/overview，其它同VQA 1.0
- 注意事项同VQA 1.0，但是它不需要压缩为results.zip，且也没有命名的限制，相对方便很多。
VQA-CP
目前CP的数据集上，只给出了train和test（这里test其实就是validation，因为有answer），所以并不需要打榜。简单的report results即可