Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Problema de mínimos quadrados ordinários

0 votos
14 visitas
perguntada Jul 21 em Matemática por danielcajueiro (5,641 pontos)  

Considere o problema de encontrar a melhor reta (com coeficiente linear \(\alpha\) e inclinação \(\beta\)) que passa por um conjunto de pontos e minimiza a soma dos
erros quadráticos que pode ser definido a partir do seguinte problema de otimização:

\[min_{\alpha,\beta} \sum_{i=1}^{n} (y_i-\alpha -x_i \beta)^2,\]

onde \((x_i,y_i)\), para \(i=1,\cdots,n\), são valores dados que pertencem a sua base de dados.
Encontre as condições de primeira ordem. A solução desse sistema de equações é única? Em caso positivo, essa solução é ponto de máximo, mínimo, máximo global, mínimo global ou nenhum dos casos anteriores? Justifique sua resposta.

Compartilhe

1 Resposta

0 votos
respondida Jul 21 por danielcajueiro (5,641 pontos)  

Seja \(E(\alpha,\beta)=\sum_{i=1}^{n} (y_i-\alpha -x_i \beta)^2\)

Condições de primeira ordem:

\(\frac{\partial E(\alpha,\beta)}{\partial \alpha}=2\sum_i (y_i-\alpha-x_i\beta)(-1)=0\)
\(\frac{\partial E(\alpha,\beta)}{\partial \beta}=2\sum_i (y_i-\alpha-x_i\beta)(-x_i)=0\)

Note que esse é um sistema linear dado por

\( (\sum_i y_i-\sum_i\alpha-\sum_ix_i\beta)=0\)
\( (\sum_i y_i x_i-\sum_i \alpha x_i- \sum_i x_{i}^2\beta)=0\)
Ou seja,

\( (\sum_i y_i-n\alpha-\beta\sum_ix_i)=0\)
\( (\sum_i y_i x_i-\alpha\sum_i x_i- \beta\sum_i x_{i}^2)=0\)

que podemos reescrever na notação matricial como

\[\left[\begin{array}{cc} n & \sum_i x_i \\ \sum_i x_i & \sum_i x_{i}^2 \\ \end{array}\right]\left[\begin{array}{c} \alpha \\ \beta \\ \end{array}\right]=\left[\begin{array}{c} \sum_i y_i \\ \sum_y y_i x_i \\ \end{array}\right]\]

Note que esse sistema tem solução desde que as linhas da matriz são independentes. A condição que garante essa hipótese é que pelo menos um \(x_i\) sejam diferente de 1.

Para garantir que essa solução seja um ponto de mínimo temos que estudar as condições de segunda ordem.

Calculando as segundas derivadas podemos calcular a matriz hessiana associada a esse problema:

\[H=\left[\begin{array}{cc} 2n & 2\sum_i x_i \\ 2\sum_i x_i & 2\sum_i x_{i}^2 \\ \end{array}\right]\]

Note que \(|H_1|=2n>0\).

Por outro lado \(|H_2|=4n \sum_i x_{i}^2- 4 (\sum_i x_{i})^2=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-\left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-2\left(\frac{\sum_i x_{i}}{n} \right)^2 + \left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-2\left(\frac{\sum_i x_{i}}{n} \right)\left(\frac{\sum_i x_{i}}{n} \right) + \left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)

\(4n^2\left( \frac{\sum_i x_{i}^2}{n}-2\left(\frac{\sum_i x_{i}}{n} \right)\left(\frac{\sum_i x_{i}}{n} \right) + \frac{\sum_i }{n}\left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)

\(4n^2 \frac{\sum_i }{n} \left( x_{i}^2-2 x_{i}\left(\frac{\sum_i x_{i}}{n} \right) + \left(\frac{\sum_i x_{i}}{n} \right)^2 \right)=\)
\(4n^2 \frac{\sum_i }{n} \left( x_{i}-\left(\frac{\sum_i x_{i}}{n} \right) \right)^2>0\)

Logo, o ponto crítico encontrado é ponto de mínimo.

OBS: Note que \(|H_2|\) é um múltiplo da variância amostral de \(x_i\) que é sempre positiva.

...