Господа! Горю!

Имеется система:
x1+x2+3x3-2x4+3x5=1
2x1+2x2+4x3-x4+3x5=2
3x1+3x2+7x3-3x4+6x5=3

Необходимо проверить на совместность и решить (в случае совместности).

Исходя из того, что rangA = rangA* - делаем вывод, что система совместна. Далее...

После преобразований методом Гауса расширенной матрицы, имеем такую матрицу:
1 1 3 -2 3 1
0 0 -2 3 -3 0

Т.е.:
x1+x2+3x3-2x4+3x5=1
-2x3+3x4-3x5=0

Дальше у меня тупик.. Кто свободные члены, а кто неизвестные? Как дальше решать систему?

Вроде все верно сделано.
Итак, вначале определяем количество свободных переменных. Оно равно разности n-r, где n - количество переменных, r - ранг матрицы. Т.е. в вашем случае получаем 3. В качестве свободных выбираем, например, х2, х4 и х5. Выражаете теперь х1 и х3 через свободные.

Тогда..

x1, x3 - базисные
x2, x4, x5 - свободные

x3=1,5x4-1,5x5
x1=1-x2-4,5x4-4,5x5+2x4-3x5=1-x2-2,5x4-7,5x5

B получаю вектор X из элементов:
x1=1-x2-2,5x4-7,5x5
x2=x2
x3=1,5x4-1,5x5
x4=x4
x5=x5

А дальше? Вместо свободных подставляем (1;0;0)?
Тогда получаю вектор X=(0,1,0,0,0).

Всё ли верно?

Коэффициент возле х5 у меня не такой получился.

Это вы нашли общее решение вашей системы

Если надо находить частное решение, то да, вместо свободных переменных подставляете произвольные значения. Можете даже все нули взять.
Только вектор Х не такой получается. Пересчитайте еще рах х1.

Пересчитал. Получил: х1=1-x2-2,5x4+1,5x5
А почему вектор Х не такой получается? Ведь даже если коэффициент возле х5 неверный, то все-равно подставляю 0 в х5...

и у меня так

Все увидела, вы х2 взяли равным 1, а я считала для х2=0.