Предположим, что попытки построить функцию Ляпунова ни к чему не привели, и у нас возникло предположение, что нулевое равновесие динамической системы является неустойчивым. Как это проверить?

это невозможно проверить
применить теорему Четаева о неустойчивости
сделать вывод, что так как мы не смогли построить функцию Ляпунова, то её не существует и нулевое равновесие является неустойчивым

К сожалению, у нас пока нет статистики ответов на данный вопрос, но мы работаем над этим.