Seja \(E(\alpha,\beta)=\sum_{i=1}^{n} (y_i-\alpha -x_i \beta)^2\)
Condições de primeira ordem:
\(\frac{\partial E(\alpha,\beta)}{\partial \alpha}=2\sum_i (y_i-\alpha-x_i\beta)(-1)=0\)
\(\frac{\partial E(\alpha,\beta)}{\partial \beta}=2\sum_i (y_i-\alpha-x_i\beta)(-x_i)=0\)
Note que esse é um sistema linear dado por
\( (\sum_i y_i-\sum_i\alpha-\sum_ix_i\beta)=0\)
\( (\sum_i y_i x_i-\sum_i \alpha x_i- \sum_i x_{i}^2\beta)=0\)
Ou seja,
\( (\sum_i y_i-n\alpha-\beta\sum_ix_i)=0\)
\( (\sum_i y_i x_i-\alpha\sum_i x_i- \beta\sum_i x_{i}^2)=0\)
que podemos reescrever na notação matricial como
\[\left[\begin{array}{cc}
n & \sum_i x_i \\
\sum_i x_i & \sum_i x_{i}^2 \\
\end{array}\right]\left[\begin{array}{c}
\alpha \\
\beta \\
\end{array}\right]=\left[\begin{array}{c}
\sum_i y_i \\
\sum_y y_i x_i \\
\end{array}\right]\]
Note que esse sistema tem solução desde que as linhas da matriz são independentes. A condição que garante essa hipótese é que pelo menos um \(x_i\) sejam diferente de 1.
Para garantir que essa solução seja um ponto de mínimo temos que estudar as condições de segunda ordem.
Calculando as segundas derivadas podemos calcular a matriz hessiana associada a esse problema:
\[H=\left[\begin{array}{cc}
2n & 2\sum_i x_i \\
2\sum_i x_i & 2\sum_i x_{i}^2 \\
\end{array}\right]\]
Note que \(|H_1|=2n>0\).
Por outro lado \(|H_2|=4n \sum_i x_{i}^2- 4 (\sum_i x_{i})^2=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-\left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-2\left(\frac{\sum_i x_{i}}{n} \right)^2 + \left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-2\left(\frac{\sum_i x_{i}}{n} \right)\left(\frac{\sum_i x_{i}}{n} \right) + \left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-2\left(\frac{\sum_i x_{i}}{n} \right)\left(\frac{\sum_i x_{i}}{n} \right) + \frac{\sum_i }{n}\left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2 \frac{\sum_i }{n} \left( x_{i}^2-2 x_{i}\left(\frac{\sum_i x_{i}}{n} \right) + \left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2 \frac{\sum_i }{n} \left( x_{i}-\left(\frac{\sum_i x_{i}}{n} \right) \right)^2>0\)
Logo, o ponto crítico encontrado é ponto de mínimo.
OBS: Note que \(|H_2|\) é um múltiplo da variância amostral de \(x_i\) que é sempre positiva.