В семинаре при рассказе о генерации текста упоминается "температура". Что же имеется в виду?
Температура в softmax - параметр, который отвечает за “случайность” итогового распределения. Если устремить температуру к нулю, итоговое распределение вырождается в one-hot (элемент с максимальным значением выбирается с вероятностью 1.0). Такое поведение согласуется и с физическими явлениями. С возрастанием температуры энтропия (мера хаотичности) системы растет, а значит события становятся более случайными (т.е. распределение стремится к равномерному).
Исходя из информации выше, выберите правильные утверждения:
- При высокой температуре генерации модель выдает варианты, уверенность в которых наиболее высока
- При очень маленькой температуре есть вероятность получать каждый раз один и тот же результат
- При температуре, стремящейся к бесконечности, генерация любого символа имеет примерно одинаковую вероятность
- При увеличении температуры генерации модель начинает отличаться меньшим разнообразием
- Чем ниже температура генерации, тем выше уверенность модели в сгенерированных результатах и ниже разнообразие сгенерированной выборки
К сожалению, у нас пока нет статистики ответов на данный вопрос,
но мы работаем над этим.