Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 1:01Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -1:01 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
На этом мы заканчиваем обзор популярных в последнее время нейросетей и заканчиваем разговор про transfer learning в сфере обработки текстов. Мы обсудили пять популярных архитектур, составили своё представление о том, что же происходит в области обработки текстов в настоящее время и получили некоторое представление о том, какие архитектуры сейчас популярны и какие основные концепты лежат в их основе. Для более подробного понимания темы я рекомендую ознакомиться с информацией, которая доступна по ссылкам с этого слайда. Информация из обзоров под названием "illustrated transformer[1]" и "illustrated BERT[2]" использовалась в этой лекции, но, для того чтобы более подробно понять, что же творится под капотом BERT, я рекомендую всё-таки ознакомиться с этим обзором и посмотреть на отличные иллюстрации, которые там представлены. Удачи в изучении материалов!
[1] http://jalammar.github.io/illustrated-transformer/
[2] http://jalammar.github.io/illustrated-bert/