Я начала решать это уравнение. Проверьте, пожалуйста, нет ли ошибок по ходу решения:
y''-5y'+6y=(12x-7)exp(-x)

Записываем однородное уравнение
y''-5y'+6y=0

Составляем характеристическое уравнение
k^2'-5k+6=0
Находим его корни
k1=3
k2=2

Общее решение однородного уравнения
Y=C1*exp(3x)+C2*exp(2x)

А вот дальше для правой части ДУ:
y*=(Ax+B )*exp(-x)
(y*)'=A*exp(-x)-A*x*exp(-x)



(y*)''=-A*exp(-x)-A*exp(-x)+A*x*exp(-x)=-2A*exp(-x)+A*x*exp(-x)

Пока правильно?

Указал ошибку.

Тут я, кстати, еще одну ошибку нашла.
Если не ошибаюсь, то должно быть так:
(y*)'=A*exp(-x)-(A*x*+B)exp(-x)

верно, должно быть так

Проверьте, пожалуйста, полное решение:

решение верное