Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 3:22Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -3:22 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Привет! Поздравляю всех кто досмотрел до этого момента! Эта лекция, этот модуль — последние в нашем курсе. Итак, давайте приступим к нашей лекции. Как вы помните из предыдущего модуля, 2018 год, в сфере NLP, стал достаточно переломным моментом. Во-первых, концептуальное понимание того, как лучше всего представлять слова и предложения (чтобы учитывать их семантику, какой-то лингвистический смысл) достаточно сильно поменялось. Во-вторых, именно в этом году были предложены мощные и (что самое главное) выложенные с уже предобученными весами, модели, которые можно было скачать и использовать в своих прикладных задачах. И эти модели работали очень и очень хорошо. Этот момент был назван "моментом и ImageNet в NLP"[1] — со ссылкой на то, как несколько лет назад подобные разработки в transfer learning ускорили развитие компьютерного зрения. И в этой лекции мы с вами попробуем отследить основные шаги развития transfer learning в области NLP с 2018 года по текущий момент. Сразу скажу, что эта лекция носит достаточно обзорный характер и мы не будем пытаться разобрать все малейшей тонкости всех модификаций всех недавно вышедших архитектур, а, скорее, рассмотрим основные концепты и основные идеи. Для начала, напомню, что основная идея transfer learning состоит в следующем. Мы предобучаем нашу модель на большом корпусе, а затем файнтюним (fine-tune) предобученные веса сети. Берём сравнительно небольшой размеченный корпус и дообучаем сеть на решение интересующей нас задачи (например, на решение задачи классификации текстов или на машинный перевод или для решения какой-то другой задачи). В NLP часто применяется следующая схема: на этапе предобучения модель пытается предсказывать пропущенные слова в тексте (то есть, решается знакомая вам задача языкового моделирования), а на этапе дообучения полученные веса модели файнтюнятся с использованием размеченных данных и модель учится решать некоторую задачу. Выбор задачи языкового моделирования достаточно логичен и понятен, для решения этой задачи нам не нужны размеченные данные. Достаточно взять большой корпус текстов и поочерёдно заменять некоторой маской слова и пытаться их предсказывать. Кроме того, в процессе такого обучения модель приобретёт знания о том, как устроен язык. Например, она научиться понимать, какие слова встречаются с другими словами рядом или — какие устойчивые словосочетания существуют в языке. Вообще, эта идея — использовать semi-supervised learning для текстов появилась достаточно давно — гораздо раньше 2018 года. Например, были попытки считать некоторые статистики на уровне слов и фраз с использованием неразмеченных данных, а затем использовать полученные данные как фичи для решения задач обучения с учителем (например, для классификации текстов). Тем не менее, до недавнего времени не было такого бума и такой популярности transfer learning для работы с текстами. Давайте же рассмотрим основные шаги, основные вехи, появление которых ознаменовало расцвет transfer learning в области обработки текстов.
[1] NLP's ImageNet moment has arrived, 12 July 2018