Исследовать устойчивость нулевого решения, построив функцию Ляпунова и применив теоремы Ляпунова или Четаева.
Но для исследования мне необходимо подобрать функцию Ляпунова, перепробовал много вариантов, но они не подходят, т.к. производная функции Ляпунова выходит не знакоопределённой.
Пробовал искать функцию Ляпунова вида:
A*x^2+2B*y*x+C*y^2;
A*x^2+B*y^2;
1-x^2-y^2;
x-y^2;
и некоторые другие
