f(x,y)=xy-x^2-y^2+2x-y+3

(Z)'_x = y-2x+2
(Z)'_y = x-2y-1

Приравнивая оба уравнения к нулю и решая систему уравнений нашел x=-5/3 , y=-4/3.
т.е. М(-5/3,-4/3) - стационарная точка.
Далее беру производную
(Z)''_xx=-2
(Z)''_yy=-2

Что делать дальше? Как найти экстремумы?

А распишите, как такое получили.

Еще нужна смешанная.
Посмотрите примеры

Эх... вот что значит моя невнимательность... при переносе в правую часть каким-то образом упустил минус и все решение псу под хвост...
Значит точка будет с такими координатами : М(1,0).

Z''_xx=-2
Z''_xy=0
Z''_yy=-2
тогда:
А=-2, В=0, С=-2 и...
АС-В^2=4>0 следовательно...???

Почему 0? Вы должны первую производную по х продифференцировать по у.

В точке М экстремум достигается. Только правильно А, В и С найдите. А точнее только В.

ААА... значит Z''_xy=1, след. В=1 и АС-В^2=3. А как определить саму точку экстремума?

Точку подозрительную на экстремум вы уже определили - это т. М. Т.к. AC-B^2>0 в этой точке, то функция в т.М достигает экстремум, теперь осталось выяснить минимум или максимум. Для этого смотрим на знак А.

Точка А имеет знак минус, т.е. это точка максимума!? И единственное, что меня еще смущает, это когда я нашел Z''_xx , Z''_xy , Z''_yy , у меня получились конкретно числа без неизвестных, и значения точки М я не подставлял. Так и должно быть?

да.

Ну для данной функции так получилось.

А если бы АС-В^2 была бы меньше или равна нулю, то функция не достигала бы экстремума?
Т.е. мне можно сделать в примере вывод, типа т. М(1,0) - точка экстремума, и т.к. А<0, то она точка максимума!?

< 0- не достигала
=0 - сомнительный случай, требующий дополнительного исследования

можно, но все без "типа".