Какова роль лексического анализатора?

Считывать входные символы и формировать на выходе последовательность токенов
Удаление комментариев
Удаление пробелов, символов новой строки и табуляции
Формирует дерево разбора

К сожалению, у нас пока нет статистики ответов на данный вопрос, но мы работаем над этим.