Что происходит на этапе токенизации?

Модель преобразует токены в векторы
Модель разбивает текст на отдельные токены
Модель редактирует текст с фильтрами
Модель формирует ответ

Для просмотра статистики ответов нужно войти.