As definições comuns estão na Seção 16.2 do livro do Simon-Blume (mathematics for economists):
1) Matrizes definidas (negativas ou positivas)
2) Matrizes semi-definidas (negativas ou positivas):
3) Matrizes indefinidas:
Pela definição, matrizes definidas são casos particulares das semidefinidas. Logo, sim! Existem matrizes que não são indefinidas nem definidas. Um exemplo particular é
\[\left[\begin{array}{cc}
1 & 0 \\
0 & 0 \\
\end{array}\right]\]
Note que essa matriz é semipositiva definida [Ela não é definida nem indefinida].
Em relação a otimização um teorema (na minha versão é o 17.2) diz que se a hessiana for indefinida em um ponto \(x^\star\) então \(x^\star\) não é ponto de máximo ou mínimo.
O mesmo não ocorre com matrizes semi-definidas. Quando a hessiana é semi-definida, nada podemos afirmar (usando esse tipo de teste) sobre a existência de ponto de máximo ou mínimo. Compare por exemplo as funções
\[f_1(x,y)=x^4+y^4\]
\[f_2(x,y)=x^4-y^4\]
\((x^\star,y^\star)=(0,0)\) é ponto de mínimo de \(f_1\) e ponto de sela \(f_2\). Em ambos os casos a matriz hessiana é a matriz nula e portante semi-definida (positiva e negativa).