Домашнее задание №1
При обучении seq2seq модели из семинара качество работы модели оказалось не слишком хорошим. У этого есть несколько причин:
Слишком маленький датасет. На 2000 пар сложно обучить хорошую модель для решения такой сложной задачи.
Модель очень простая, есть смысл попробовать усложнить ее (использовать другие архитектуры, например, Трансформер, разобранный в предыдущих лекциях и семинарах).
Стоит более аккуратно подбирать параметры модели. Обратите внимание на:
Процесс построения словаря. Может быть, нужно поварьировать параметры min_freq, max_freq.
Dropout. Есть ли смысл добавлять еще больше dropout в модель?
Стратегия изменения learning rate в процессе обучения.
В качестве домашнего задания мы предлагаем Вам поэкспериментировать с кодом этого семинара и улучшить качество работы модели. В репозитории курса выложены два датасета: один из них (conala, 2000 пар на обучение) был разобран видео, второй (StaQC, 50000 пар на обучение) Вам предлагается использовать в домашней работе. Для начала Вы можете проверить, помогает ли улучшить качество работы модели использование большего количества данных без каких-либо дополнительных улучшений.
Успехов! :)