cider指标

cider summer

总体思路就是candidates和reference的词的TF-IDF计算相似度，再除以各自句子的TF-IDF的模长；
其中TF-IDF中的TF代表该词组在该句子中出现的频率；
IDF代表在文档库中，该词出现的频率的倒数的对数（出现频率越高，weight越低）；
所以TF-IDF总体代表了词的重要性；
cider的总体思想就是如果candidates和reference中的词的重要性相似，表示candidates和reference的意思相似；

具体过程：

首先，cider的整体计算公式如下：

其中g代表了TF-IDF,这里的j是考虑了每张图片有多个references的情况；
首先，针对n-gram，会对词组进行划分；
如下图所示：

也就是如果n为4，会有四种划分方式，每种划分方式会计算一个相似度然后平均：

例子

接下来，有一些cider计算的例子：
需要了解一下IDF的计算原理，来了解下为什么只有一个sample的时候cider的值是0，以及所有的sample都一样的时候，cider值也是0；
因为TF-IDF中的IDF是以整个评测中的文档为基准，如何该词在每个文档中都出现了，其重要性就是0；
具体例子如下：

示例
假设我们有以下 3 个文档：

Document 1: “the cat sat on the mat”
Document 2: “the dog sat on the log”
Document 3: “cats and dogs are great pets”