Vou seguir o procedimento apresentado nessa resposta.
1) Derive a função em relação a todas as coordenadas e iguale essas derivadas a zero:
\(\frac{\partial f(x,y)}{\partial x}=5x^4(1-x)^5 -5x^5 (1-x)^4=0\), \(\frac{\partial f}{\partial y}=5y^4(1-y)^5 -5y^5 (1-y)^4=0\)
2) Encontre as soluções do sistema de equações:
Note primeiro que as duas equações são independentes e análogas. Adicionalmente, 0 e 1 são respectivamente soluções das duas equações.
Note que se 0 e 1 não são raízes, a primeira equação é equivalente x=(1-x) que implica que \(x=1/2\). A mesma análise é válida para segunda equação.
Logo, \((0,0)\), \((0,1/2)\), \((0,1)\), ((1/2,0)\), \((1/2,1/2)\), \((1/2,1)\), ((1,0)\), \((1,1/2)\), \((1,1)\) são raízes.
3) Calcule a matriz de segundas derivadas da função:
Seja \(H\) a matriz de segundas derivadas. Então,
\(H_{11}=20x^3 (1-x^5) - 50x^4 (1-x^4) + 20x^5(1-x^3)\)
\(H_{12}=0\)
\(H_{21}=0\)
\(H_{22}=20y^3 (1-y^5) - 50y^4 (1-y^4) + 20x^5(1-y^3)\)
4) Substitua os pontos encontrados no ítem (2) na matriz hessiana encontrada em (3) e teste para cada caso se a matriz é positiva definida, negativa definida ou indefinida.
Note que não conseguimos usar essa análise para qualquer solução que apresente \(x=0\) ou \(y=0\) ou \(x=1\) ou \(y=1\).
Logo, resta testar o ponto \((x,y)=(1/2,1/2)\).
Nesse ponto temos
\(|H_{11}|\gt 0\]
\(|H|\gt 0\]
que implica que esse ponto é ponto de mínimo.