1) y''+4y=sin2x+1, y(0)=3, y'(0)=9
2) y''cosx x+ y'sinx=0, y(0)= -1/4, y'(0)=2
1) т.к. корни характеристического уравнения y''+4y=0 комплексные (=+-4i), то общее решение однородного уравнения y''+4y=0 имеет вид

y=C1sin2x+C2cos2x. Функции С1 и С2 попытаемся найти, опираясь на следующую систему
С'1sin2x+C'2cos2x=0
C'1cos2x-c'2sin2x=sin2x+1/
пока правильно?

Нет. Во втором уранении забыли каждое слагаемое домножить на 2.

Т.Е. будет вот такая система
С'1sin2x+C'2cos2x=0
2C'1cos2x-2С'2sin2x=2sin2x+2

Из первого уравнения системы имеем
C'1sin2x=-C'2cos2x
C'1=-C'2 (cos2x/sin2x)

т.е. C'1=-C'2ctg2x

нет

но ведь я умножила как мне и советовали.

Зачем Вы всё домножили на 2? Если есть два решения y1 и y2 уравнения y''+a*y'+b*y=f(x), то функции С1 и С2 находятся из системы
С1'*y1+C2'*y2=0;
C1'*y1'+C2'*y2'=f(x)

Т.Е. будет вот такая система
С'1sin2x+C'2cos2x=0
2C'1cos2x-2С'2sin2x=sin2x+1
Из первого уравнения системы имеем
C'1sin2x=-C'2cos2x
C'1=-C'2 (cos2x/sin2x)

т.е. C'1=-C'2ctg2x

Да.

-2С'2(ctg2x+sin2x)=sin2x+1
C'2=(sin2x+1)/-2(ctg2x+sin2x)
а дальше не знаю что делать

Потеряли косинус в первом слагаемом.

Да, елки-палки, дети отрывают, такие глупые ошибки......
-2С'2(ctg2xcos2x+sin2x)=sin2x+1
C'2=(sin2x+1)/-2(ctg2xcos2x+sin2x)

Да. Теперь можно расписать котангенс через синус и косинус и привести к общему знаменателю, а потом проинтегрировать.

C'2=- (sin^2(2x)+sin2x)/2
проинтегрировав С2 получаем
С2=-1/4*x+1/16(sin4x)+1/4(cos2x)+ C?
а С'1 интегрировать подставив в него С'2? И куда потом эти интегралы?

Да.Потом подставлять в общее решение y=C1*y1+C2*y2.

C'1=(sin^2(2x)+sin2x)/2 * cos2x/sin2x=(sin2xcos2x+cos2x)/2
Интегрируем С1
С1=-1/16*сos4x+1/8* sin2x
откуда
y=-1/16*сos4x*2i+1/8* sin2x*2i+1/4*x*2i-1/16(sin4x)*2i-1/4(cos2x)*2i
Вроде так. Но ведь это только общее решение, а мне надо ещё и частное при заданных условиях.

При интегрировании каждого С возникнет 2 постоянных коэффициента. Их найдёте подстановкой заданных условий в решение.

Ага, вот они родимые С3 и С4. Так?

В решение чего?

Так.
Уравнения, чего Вы решаете?

По-моему, я просто тихо схожу с ума!
Стоп, может и не схожу!
Т.е y(0)=1/4 подставляю в ответ, потом беру от у производную и подставляю у'(0)=0. Вроде так.

Да, у Вас получится два уравнения на неизвестные С3 и С4.

Я подставила в уи у', вот что получается, но у меня точно где-то ошибка!
у: 1/4=-3i/8+C3 +C4
y': -i=C3+C4 (А решения то нет.... что-то я не учла, впрочем как обычно)

Откуда у Вас в уравнении взялись вообще мнимые единицы? Вы нашли решения однородного уравнения: y1=sin(2x), y2=cos(2x); нашли неизвестные функции С1 и С2:
С1=-1/16*сos4x+1/4* sin2x+А
С2=-1/4*x+1/16(sin4x)+1/4(cos2x)+ B
Теперь записываете общее решение:
y=sin(2x)*(-1/16*сos4x+1/4* sin2x+А)+cos(2x)*( -1/4*x+1/16(sin4x)+1/4(cos2x)+ B ).
Дифференцируете, подставляете начальные условия - y(0)=3, y'(0)=9.
Получается 2 уравнения на неизвестные константы, из которых они и находятся.

А=25/16
В=11/4

B правильно, А не проверял.

К этому вообще незнаю с какой стороны подходить

Сделайте замену z(x)=y'(x), тогда z'=y'' и получится уравнение
z'cos(x)+zsin(x)=0.
Разделяете переменные,интегрируете,находите z(x), потом ещё раз интегрируете,находите у(х).

ну вот как-то так получилось
z'cosx+zsinx=0
z'cosx=-zsinx
z'/z=-sinx/cosx
z'/z=-tgx
интегрируя получаем
lnz=ln|cosx|
z=e^ln|cosx|
z=|cosx|+А
y'=|cosx|
y''=|sinx|+В
|sinx|*cosx+|cosx|*sinx=0
Или здесь А и В искать не надо?

Надо конечно.