Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Considerando um modelo de regressão linear simples, mostre que se \( \bar x = 0 \), então as estimativas para a inclinação e para o intercepto, sob as hipóteses do modelo clássico, serão não correlacionadas.

0 votos
18 visitas
perguntada Abr 27 em Estatística por Lucas Santos e Silva (76 pontos)  

Considerando um modelo de regressão linear simples, mostre que se \( \bar x = 0 \), então as estimativas para a inclinação e para o intercepto, sob as hipóteses do modelo clássico, serão não correlacionadas.

Ref.: Capítulo 14 (Exercício 11) do livro "Mathematical Statistics and Data Analysis" de John A. Rice.

Compartilhe

1 Resposta

+1 voto
respondida Abr 28 por Lucas Santos e Silva (76 pontos)  
editado Abr 28 por Lucas Santos e Silva

Dado tratar-se de um modelo de regressão linear simples, podemos representar o mesmo da seguinte forma:

\[ \hat y_i = \hat\beta_1 + \hat\beta_2 x_i \]

Neste caso, os resíduos correspondem à diferença entre os valores observados \( y_i \) e os valores preditos \(\hat y_i\), ou seja:

\[ \hat \varepsilon_i = y_i - \hat y_i = y_i - \hat\beta_1 - \hat\beta_2 x_i \]

O método de mínimo quadrados ordinários (MQO) obtém estimadores para \( \beta_1 \) e \(\beta_2 \) minimizando a soma dos erros quadrados. Portanto, para o mesmo devemos resolver o seguinte problema de otimização:

\[ mín_{\hat\beta_1, \hat\beta_2} \sum_{i=1}^{n} (y_i - \hat\beta_1 - \hat\beta_2 x_i)^2 \]

Onde as condições de primeira ordem (CPOs) resultam em:

\[ (1) \, \quad \quad -2 \sum_{i=1}^{n} (y_i - \hat\beta_1 - \hat\beta_2 x_i) = 0 \,\,\,\,\]

\[ (2) \quad \quad -2 \sum_{i=1}^{n} (y_i - \hat\beta_1 - \hat\beta_2 x_i)x_i = 0 \]

Resolvendo a primeira destas equações para \( \hat \beta_1 \) obtemos:

\[ -2 \sum_{i=1}^{n} (y_i - \hat\beta_1 - \hat\beta_2 x_i) = 0 \]

\[ \sum_{i=1}^{n} y_i = \sum_{i=1}^{n} \hat\beta_1 + \sum_{i=1}^{n} \hat\beta_2 x_i\]

\[ \sum_{i=1}^{n} y_i = n\hat\beta_1 + \hat\beta_2\sum_{i=1}^{n} x_i\]

\[ n\hat\beta_1 = \sum_{i=1}^{n} y_i - \hat\beta_2\sum_{i=1}^{n} x_i\]

\[ \hat\beta_1 = (1/n) \times \sum_{i=1}^{n} y_i - \hat\beta_2 \times (1/n) \times \sum_{i=1}^{n} x_i\]

E portanto:

\[ \hat\beta_1 = \bar y - \hat\beta_2 \bar x\]

Uma vez obtido o resultado acima (cuja utilidade ficará clara na sequência), partimos então para o cálculo da correlação entre \( \hat \beta_1\) e \( \hat \beta_2\).

Sabemos que a correlação entre duas variáveis aleatórias \(X\) e \(Y\) quaisquer é dada por:

\[ Corr[X,Y] = \big(Cov[X,Y] \big) / \big( \sqrt {var(X)} \times \sqrt {var(Y)} \, \big) \]

Onde:

\[ Cov[X,Y] = E[ (X-E[X])(Y - E[Y]) ] \]

Desta forma, temos que:

\[ Cov[\hat\beta_1,\hat\beta_2] = E[ (\hat\beta_1-E[\hat\beta_1])(\hat\beta_2 - E[\hat\beta_2]) ] \]

Recorrendo então ao resultado anteriormente demonstrado, notamos que:

\[ \hat\beta_1 = \bar y - \hat\beta_2 \bar x\]

Logo:

\[ E[\hat\beta_1] = E[\bar y] - E[ \hat\beta_2 \bar x] \]

\[ E[\hat\beta_1] = \bar y - \bar x E [\hat\beta_2 ] \]

Portanto:

\[ \hat\beta_1 - E [\hat\beta_1] = \bar y - \hat\beta_2 \bar x - \bar y + \bar x E [\hat\beta_2 ] \]

\[ \hat\beta_1 - E [\hat\beta_1] = -\bar x (\hat\beta_2 - E [\hat\beta_2 ]) \]

Substituindo o resultado acima na expressão da covariância obtem-se:

\[ Cov[\hat\beta_1,\hat\beta_2] = E[-\bar x (\hat\beta_2 - E [\hat\beta_2 ])(\hat\beta_2 - E[\hat\beta_2]) ] \]

\[ Cov[\hat\beta_1,\hat\beta_2] = -\bar x \, E[(\hat\beta_2 - E[\hat\beta_2])(\hat\beta_2 - E[\hat\beta_2]) ] \]

\[ Cov[\hat\beta_1,\hat\beta_2] = -\bar x \, E[(\hat\beta_2 - E[\hat\beta_2])^2 ] \]

Logo:

\[ Cov[\hat\beta_1,\hat\beta_2] = -\bar x \, var[\hat\beta_2] \]

No entanto, sob as hipóteses do modelo clássico, sabemos que:

\[ var[\hat\beta_2] = \sigma^2 / \sum_{i=1}^{n} (x_i - \bar x_i)^2 \]

Desta forma obtemos:

\[ Cov[\hat\beta_1,\hat\beta_2] = -\bar x \times \big( \sigma^2 / \sum_{i=1}^{n} (x_i - \bar x_i)^2 \big) \]

Portanto, no caso em que \( \bar x = 0 \) obtemos:

\[ Cov[\hat\beta_1,\hat\beta_2] = -0 \times \big( \sigma^2 / \sum_{i=1}^{n} (x_i - \bar x_i)^2 \big) = 0 \]

E por fim, dado que:

\[ Corr[\hat\beta_1,\hat\beta_2] = \big(Cov[\hat\beta_1,\hat\beta_2] \big) / \big( \sqrt {var(\hat\beta_1)} \times \sqrt {var(\hat\beta_2)} \, \big) \]

Obtemos:

\[ Corr[\hat\beta_1,\hat\beta_2] = 0 \]

\( \therefore \) Em um modelo de regressão linear simples, se \( \bar x =0 \), as estimativas para a inclinação e para o intercepto, sob as hipóteses do modelo clássico, são não correlacionadas.

comentou Mai 5 por Lucas Iantorno Klotz (21 pontos)  
Oi, Lucas, excelente resolução, em especial a primeira parte da resposta em que você chegou na relação:
\[\hat{\beta_1} = \bar{y} - \hat{\beta_2}\bar{x},\]
além de revisar um passo importante do método de mínimos quadrados, auxiliou na manipulação algébrica no cálculo de correlação.
Bem, com isso em mente, uma vez com \(\bar{x} = 0\) isolado em \(Cov[\hat{\beta_1} ,\hat{\beta_2}]=-\bar{x}E[(\hat{\beta_2} - E[\hat{\beta_2}])^2]\), é evidente que os estimadores da inclinação e do intercepto são não correlacionados.
...