Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 3:12Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -3:12 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Всем привет! В этом видео мы поговорим о задаче преобразования последовательностей, а также о некоторых подходах к её решению. К таким задачам, например, относится машинный перевод. Для обозначения рассматриваемых в этом видео методов, чаще всего, в англоязычной литературе используется "метод seq2seq" (сокращение "sequence to sequence").[1] На вход нам подают список номеров токенов (результат токенизации исходного текста) и ждут от нас, что мы сгенерируем новый список номеров токенов, по которым можно будет восстановить результирующий текст. Таким образом, задача "sequence to sequence" — это задача генерации одного текста на основе другого текста. При этом, длины исходного и результирующего текстов могут не совпадать. Самое известное приложение "sequence to sequence" — это, конечно же, машинный перевод. Можно использовать подобные архитектуры и для разработки чат-ботов, например, и для генерации аннотаций, то есть сжатого описания содержимого более длинного текста. В принципе, такой же подход можно использовать и для анализа структуры предложений — например, для определения частей речи, но с помощью методов seq2seq это делают (чаще) только для демонстрации возможностей метода. С практической точки зрения, для таких задач есть более простые и надёжные методы (например, CRF). Рассматриваемые же в настоящем видео методы имеет смысл использовать тогда, когда более специализированную архитектуру подобрать не получается. Обучающая выборка состоит из пар: входной текст - выходной текст. Для борьбы с проблемой неизвестных слов ("out of vocabulary words"), чаще всего, используется токенизация с помощью byte pair encoding (BPE) или других подобных алгоритмов. Таким образом, seq2seq модели преобразовывают одну последовательность чисел (целых, то есть номеров) в другую последовательность номеров. В каждой seq2seq модели есть две самые главные части — это энкодер (encoder) и декодер (decoder). Энкодер наблюдает сразу всю входную последовательность и преобразует её в один или несколько векторов. Декодер принимает в качестве входа результат работы энкодера и, на каждом шаге, выдаёт распределение вероятностей очередного токена при условии всех предыдущих. Распределение первого токена обусловлено только на входную последовательность, а все последующие — уже и на первый токен. Процесс генерации продолжается до тех пор, пока декодер не сгенерирует специальный токен, обозначающий конец последовательности. Такой процесс генерации называется "авторегрессионным".
[1] Sutskever I., Vinyals O., Le Q. V. Sequence to sequence learning with neural networks //Advances in neural information processing systems. – 2014. – С. 3104-3112.