При исчислении двойного интеграла перейти к полярным координатам.

Похоже на правду, только после того, как перешли к полярным координатам, пределы интегрирования по углу надо местами поменять, потому что 3*pi/4 < 5*pi/6.

Т.е. верхняя граница интеграла будет 5*pi/6,а нижняя-3*pi/4

Да. А то у вас ответ отрицательный получается.

Спасибо Вам большое!!!

На здоровье