Видео проигрыватель загружается.Воспроизвести видеоВоспроизвестиБез звукаТекущее время 0:00/Продолжительность 1:48Загрузка: 0.00%0:00Тип потока ОНЛАЙНSeek to live, currently behind liveОНЛАЙНОставшееся время -1:48 1xСкорость воспроизведения2x1.75x1.5x1.25x1x, выбрано0.75x0.5xГлавыГлавыОписанияОтключить описания, выбраноСубтитрынастройки субтитров, откроется диалог настройки субтитровСубтитры выкл., выбраноЗвуковая дорожкаPicture-in-PictureПолноэкранный режимThis is a modal window.Начало диалоговго окна. Кнопка Escape закроет или отменит окноТекстColorБелыйЧерныйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйФонColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачностьПолупрозрачныйПрозрачныйОкноColorЧерныйБелыйКрасныйЗеленыйСинийЖелтыйПурпурныйГолубойTransparencyПрозрачныйПолупрозрачныйПрозрачностьРазмер шрифта50%75%100%125%150%175%200%300%400%Стиль края текстаНичегоПоднятыйПониженныйОдинаковыйТеньШрифтПропорциональный без засечекМоноширинный без засечекПропорциональный с засечкамиМоноширинный с засечкамиСлучайныйПисьменныйМалые прописныеСбросить сбросить все найстройки по умолчаниюГотовоЗакрыть модальное окноКонец диалогового окна.
Модель GloVe, которая расшифровывается как "глобальные вектора", была предложена в 2014 году ребятами из Стэнфорда.[1] Во-первых, они считают что правильнее опираться на глобальный контекст, то есть учитывать все случаи употребления двух слов в рамках целого документа, а не только в рамках предложения или какого-то узкого окна. Модель, по сути, решает задачу регрессии с квадратичным функционалом качества. Каждое слагаемое в этом функционале — по сути, ошибка восстановления частоты совместной встречаемости двух слов: i-го и j-го. У модели есть пара особенностей. Во-первых, авторы предлагают сглаживать счётчики с помощью логарифма, во-вторых они добавляют веса к слагаемым, чтобы увеличить значимость специальной лексики, то есть слов с меньшей частотой. Для этого они предлагают такую функцию — графически она выглядит следующим образом: она растёт почти линейно до некоторого значения, которое соответствует наибольшей частоте, которая нас вообще интересует, а после этого она абсолютно горизонтальна. Максимум её — единица. У неё есть два параметра: "x_max" — это наибольшая частота, которую мы считаем нормальной, и альфа, которая отвечает за кривизну вот этой части. Чем меньше альфа, тем сильнее поднимается график — тем значимее становятся редкие сочетания.
[1] Pennington, Jeffrey & Socher, Richard & Manning, Christoper. (2014). Glove: Global Vectors for Word Representation. EMNLP. 14. 1532-1543. 10.3115/v1/D14-1162.