Проанализируйте формулы для точечной взаимной информации и отметьте верные утверждения.
pmi(l,w)=logp(w,l)p(w)p(l)=logp(l|w)p(l)=logp(w|l)p(w)pmi(l,w)=logp(w,l)p(w)p(l)=logp(l|w)p(l)=logp(w|l)p(w)pmi(l, w) = log \frac{p(w, l)} {p(w) p(l)} = log\frac{p(l|w)}{p(l)} = log\frac{p(w|l)}{p(w)}
Для правильного решения этого задания можно рассмотреть несколько крайних случаев и подставлять соответствующие значения вероятностей в эти формулы: когда события l и wl\ и\ w всегда происходят вместе, когда одно происходит, а другое не происходит и т.п. К тому же, в качестве событий могут выступать не только факты встречаемости слов и меток ;)

  • Взаимная информация максимальна, когда события w и l независимы.
  • Взаимная информация минимальна, когда события w и l независимы.
  • Взаимная информация минимальна, когда события w и l несовместны (если происходит одно, второе не может произойти).
  • Взаимную информацию можно применить для оценки совместной встречаемости слов pmi(w_1, w_2)

К сожалению, у нас пока нет статистики ответов на данный вопрос, но мы работаем над этим.