y''+2y'+10y= x*e^x

a^2+2a+10=0
D=4-40=-36

a1=(-2+6i)/2=-1+3i
a2=-1-3i

y(общее)= C1*e^(-1+3i)+ C2*e^(-1-3i)= e^-1(cos3x(C1+C2) +sin3x(iC1+iC2))= e^-1(Acos3x+Bsin3x)

как найти у(частное)???

Раз резонанса нет, ищите в его в том же виде, что и правая часть, то есть в виде произведения экспоненты и многочлена первой степени.

не совсем поняла. не могли бы написать

Т.е. у_ч=(Ах+В)e^x

проверьте

y_ч=(ax+B ) *e^x

y'=a*e^x+ (ax+B ) *e^x

y''= a*e^x+ a*e^x+ (ax+ B )*e^x

потом подставляем в исходное выражение

a*e^x+ a*e^x+ (ax+B ) *e^x+2* (a*e^x+ (ax+B ) *e^x)+10*((ax+B ) *e^x)=x*e^x

что дальше делать?

Слева раскрывать скобки и сводить подобные.

вот что получилось 4a*e^x+13a*x*e^x+13*b*e^x=x*e^x

как их сводить?

1. Сократить на e^x.
2. Два многочлена равны, когда равны коэффициенты при соответствующих степенях.