Existem duas formas de resolver esse problema.
A primeira forma é reescrever a restrição de forma que se tenha uma variável em função da outra e, depois, substituir na função objetivo. A segunda forma é resolver usando o lagrangeano. Eu vou focar na segunda forma aqui e deixar a primeira forma para outra resposta.
Passo 1: Monte o lagrangeano.
\[L(\lambda,x,y)=x+y+\lambda (xy-1)\]
Passo 2: Encontre as condições de primeira ordem e iguale-as a zero para encontrar os pontos críticos.
\[\frac{\partial L}{\partial x}=1+\lambda y=0\]
\[\frac{\partial L}{\partial y}=1+\lambda x=0\]
\[\frac{\partial L}{\partial \lambda}=xy-1=0\]
Note que existem duas soluções para essa equação:
\((\lambda,x,y)=(-1,1,1)\) e \((\lambda,x,y)=(1,-1,-1)\)
Passo 3: Encontre as condições de segunda ordem e monte o hessiano orlado.
\[\frac{\partial^2 L}{\partial x^2}=\frac{\partial^2 L}{\partial y^2}=0\]
\[\frac{\partial^2 L}{\partial x\partial y}=\frac{\partial^2 L}{\partial y\partial x}=\lambda\]
\[\frac{\partial^2 L}{\partial x\partial \lambda}=\frac{\partial^2 L}{\partial \lambda\partial x}=y\]
\[\frac{\partial^2 L}{\partial y\partial \lambda}=\frac{\partial^2 L}{\partial \lambda\partial y}=x\]
O hessiano orlado é dado por
\[H=\left|\begin{array}{ccc} 0 & y & x\\ y & 0 & \lambda \\ x & \lambda & 0 \end{array} \right|=2x\lambda y\]
Passo 4: Checar se os pontos são máximos, mínimos ou outra coisa.
Seja \(m\) o número de restrições e \(n\) o número de variáveis.
Note que o ponto \((x,y)\) positivo é ponto de mínimo pois tem o mesmo sinal de \((-1)^m\).
Por outro lado, note que o ponto \((x,y)\) negativo é ponto de máximo pois tem o mesmo sinal de \((-1)^n\).