Формула перплексии:
PP(W)=P(w1,w2,..,wN)−1N=1P(w1,w2,..,wN)−−−−−−−−−−−−−−√N=1∏Ni=1P(wi|w1,..,wi−1)−−−−−−−−−−−−−−−−−−−√NPP(W)=P(w1,w2,..,wN)−1N=1P(w1,w2,..,wN)N=1∏i=1NP(wi|w1,..,wi−1)NPP(W) = P(w_1, w_2, .., w_N)^{-\frac{1}{N}} = \sqrt[N]{\dfrac{1}{P(w_1, w_2, .., w_N)}} = \sqrt[N]{\dfrac{1}{\prod_{i=1}^N P(w_i | w_1, .., w_{i-1})}}
Выберите верные утверждения про перплексию:

  • Можно использовать перплексию для сравнения двух нейросетей с разными архитектурами на одной и той же задачи (обе нейросети обучены переводить текст с языка А на язык Б)
  • Можно использовать перплексию для сравнения нейросетей с одинаковой архитектурой, где первая сеть решает задачу перевода с языка А на язык Б, а вторая с языка В на язык Г
  • Перплексия связного текста ниже, чем перплексия произвольного набора слов
  • Чтобы посчитать перплексию обязательно нужен ground truth (например, написанный человеком перевод текста). Другими словами, перплексию нельзя посчитать на данных без разметки.

К сожалению, у нас пока нет статистики ответов на данный вопрос, но мы работаем над этим.