Você precisa apenas checar se a matriz de segundas derivadas é positiva definida.
1) Calcule as derivadas
\(\frac{\partial f(x,y)}{\partial x}=4(x+1)^3 + y\), \(\frac{\partial f}{\partial y}=4(y+1)^3 +x\)
2) Calcule a matriz de segundas derivadas da função:
\[H=D^2 f=\left[\begin{array}{cc} \frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x\partial y} \\ \frac{\partial^2 f}{\partial y\partial x} & \frac{\partial^2 f}{\partial y^2}\end{array} \right]=\left[\begin{array}{cc} 12 (x+1)^2 & 1 \\ 1 & 12(y+1)^2\end{array} \right]\]
3) Calcule os determinantes das submatrizes principais:
\(H_1=12(x+1)^2\)
\(H_2=144 (x+1)^2 (y+1)^2 -1\)
Note que ambos são estritamente positivos para todos \(x\) e \(y\) positivos. Logo, a função é estritamente convexa.