Что произойдет, если мы будем выбирать объекты с возвращениями (один и тот же обьект может входить в батч до N раз), и в батче размера N все объекты окажутся одинаковыми? Отметьте все верные утвеждения
(Используем обычный градиентный спуск)
- Если функция потерь по батчу равна средней функции потерь на обьектах, то шаг обновления параметров будет таким же, как для стохастического градиентного спуска
- Если функция потерь по батчу равна сумме функций потерь на обьектах, то шаг обновления параметров будет таким же, как для стохастического градиентного спуска
- Если функция потерь по батчу равна сумме функций потерь на обьектах, то шаг обновления параметров будет таким же, как для стохастического градиентного спуска со скоростью обучения, увеличенной в N раз
- Обязательное требование -- наличие разных объектов в батче, иначе постановка задачи оптимизации некорректна и градиентный спуск не будет работать
К сожалению, у нас пока нет статистики ответов на данный вопрос,
но мы работаем над этим.