Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Regressão linear como um problema de otimização irrestrita

0 votos
274 visitas
perguntada Out 2, 2016 em Matemática por danielcajueiro (5,251 pontos)  

Considere o problema de regressão linear. Encontre os parâmetros \(\alpha\) e \(\beta\) que minimizam a soma dos quadrados dos erros de uma seqüência de dados \((x_i,y_i), \;\mathrm{for} \; i=1,\cdots,n\) e uma reta formada por esses parâmetros \(\alpha\) e
\(\beta\) onde \(\alpha\) é o coeficiente linear e \(\beta\) é o coeficiente angular.

Compartilhe

1 Resposta

0 votos
respondida Out 2, 2016 por danielcajueiro (5,251 pontos)  

Considere o problema de regressão linear

\(y_i = \alpha + \beta x_i + u_i\)

Sejam \(\widehat\alpha\) e \(\widehat\beta\) os estimadores de \(\alpha\) e \(\beta\), respectivamente, que minimizam

\(Q=\sum_{i=1}^n(\widehat{u_{i}})^2=\sum_{i=1}^n(y_i-\widehat\alpha-\widehat\beta x_i)^2\)

As condições de primeira ordem são: (nas equações seguintes, \(\sum\) denota \(\sum_{i=1}^n\))

\(\frac{\partial Q}{\partial\widehat\alpha}=\sum 2(y_i-\widehat\alpha-\widehat\beta x_i)(-1)=0 \Rightarrow \sum y_i=n\widehat\alpha+\widehat\beta\sum x_i \Rightarrow \overline{y}=\widehat\alpha+\widehat\beta \overline{x}\)

\(\frac{\partial Q}{\partial\widehat\beta}=\sum 2(y_i-\widehat\alpha-\widehat\beta x_i)(-x_i)=0 \Rightarrow \sum y_i x_i=\widehat\alpha\sum x_i+\widehat\beta\sum{x_{i}}^2\)

Substituindo \(\widehat\alpha=\overline{y}-\widehat\beta \overline{x}\), temos

\(\sum y_i x_i=\sum x_i(\overline{y}-\widehat\beta\overline{x})+\widehat\beta\sum {x_{i}}^2=n\overline{x}(\overline{y}-\widehat\beta\overline{x})+\widehat\beta\sum{x_{i}}^2\)

\(\Rightarrow S_{xy}=\widehat\beta S_{xx}\), onde \(S_{xy}=\sum x_{i}y_{i}-n\overline{xy}\) e \(S_{xx}=\sum{x_{i}}^2-n\overline{x}^2\)

Portanto, os estimadores de mínimos quadrados são

\(\widehat\beta=\frac{S_{xy}}{S_{xx}}$ e $\widehat\alpha=\overline{y}-\widehat\beta\overline{x}\)

...