Para estudar a concavidade de uma função, o primeiro passo é construir a matriz Hessiana (matriz de segundas derivadas):
\[H=\left[ \begin{array}{cc}
a(a-1)x^{a-2}y^b & abx^{a-1}y^{b-1}\\
abx^{a-1}y^{b-1} & b(b-1)x^a y^{b-2}\\
\end{array} \right]\]
Depois precisamos testar o que ocorre com a (semi) positividade ou (semi) negatividade dessa matriz.
Note que o determinante do primeiro menor principal é dado por
\(|H_1|=a(a-1)x^{a-2}y^b\)
\(|H_2|=|H|=ab(1-a-b)x^{2a-2}y^{2b-2}\)
Caso 1: \( a+b\lt 1\)
Então, \(|H_1|\lt 0\) e \(|H_2|\gt 0\). Logo, a matriz \(H\) é negativa definida e a função é estritamente-côncava.
Caso 2: \( a+b= 1\)
Então, \(|H_1|\lt 0\) e \(|H_2|= 0\). Nesse caso, para confirmar que a matriz é semi-negativa definida, precisamos testar a permutação de \(H\) dada por
\[H^\pi=\left[ \begin{array}{cc}
b(b-1)x^a y^{b-2} & abx^{a-1}y^{b-1}\\
abx^{a-1}y^{b-1} &a(a-1)x^{a-2}y^b\\
\end{array} \right]\]
que por sua vez terá
\(|H^{\pi}_{1}|=b(b-1)x^{a} y^{b-2}\)
\(|H^{\pi}_{2}|=|H^\pi|=|H|=ab(1-a-b)x^{2a-2}y^{2b-2}\)
que também tem \(|H^{\pi}_{1}\lt 0\) e \(|H^{\pi}_{2}|= 0\).
Logo, a matriz \(H\) é semi-negativa definida e a função \(f\) é côncava.
Caso 3: \( a+b\gt 1\).
Então, \(|H_1|\lt 0\) e \(|H_2|\lt 0\). Logo, a matriz \(H\) NÃO é (semi) positiva nem (semi) negativa definida.