Найти экстремумы функции.Подскажите как дальше решать.

не знаю как решить систему двух уравнений с двумя неизвестными

Забыли приравнять к нулю.
Дальше воспользоваться тем,что,если произведение равно нулю, то хотя бы один из множителей равен нулю.

Так? А что делать дальше, чтобы найти экстремумы?

Какие примеры смотрели?