Considere o problema de regressão linear
\(y_i = \alpha + \beta x_i + u_i\)
Sejam \(\widehat\alpha\) e \(\widehat\beta\) os estimadores de \(\alpha\) e \(\beta\), respectivamente, que minimizam
\(Q=\sum_{i=1}^n(\widehat{u_{i}})^2=\sum_{i=1}^n(y_i-\widehat\alpha-\widehat\beta x_i)^2\)
As condições de primeira ordem são: (nas equações seguintes, \(\sum\) denota \(\sum_{i=1}^n\))
\(\frac{\partial Q}{\partial\widehat\alpha}=\sum 2(y_i-\widehat\alpha-\widehat\beta x_i)(-1)=0 \Rightarrow \sum y_i=n\widehat\alpha+\widehat\beta\sum x_i \Rightarrow \overline{y}=\widehat\alpha+\widehat\beta \overline{x}\)
\(\frac{\partial Q}{\partial\widehat\beta}=\sum 2(y_i-\widehat\alpha-\widehat\beta x_i)(-x_i)=0 \Rightarrow \sum y_i x_i=\widehat\alpha\sum x_i+\widehat\beta\sum{x_{i}}^2\)
Substituindo \(\widehat\alpha=\overline{y}-\widehat\beta \overline{x}\), temos
\(\sum y_i x_i=\sum x_i(\overline{y}-\widehat\beta\overline{x})+\widehat\beta\sum {x_{i}}^2=n\overline{x}(\overline{y}-\widehat\beta\overline{x})+\widehat\beta\sum{x_{i}}^2\)
\(\Rightarrow S_{xy}=\widehat\beta S_{xx}\), onde \(S_{xy}=\sum x_{i}y_{i}-n\overline{x}\overline{y}\) e \(S_{xx}=\sum{x_{i}}^2-n\overline{x}^2\)
Portanto, os estimadores de mínimos quadrados são
\(\widehat\beta=\frac{S_{xy}}{S_{xx}}\) e \(\widehat\alpha=\overline{y}-\widehat\beta\overline{x}\)