Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Como mostrar que o vetor de resíduos é ortogonal a toda coluna de X?

0 votos
28 visitas
perguntada Abr 23 em Estatística por Rodrigo Fernandes (26 pontos)  

Questão do livro "Mathematical statistics and data analysis", do Rice J.A. Capítulo 14, exercício 17 (página 595).

a. Mostre que o vetor de resíduos é ortogonal a toda coluna de X.
b. Use esse resultado para mostrar que os resíduos tem soma zero e o valor esperado dos resíduos é zero se o modelo contêm um intercepto.

Compartilhe

1 Resposta

+1 voto
respondida Abr 23 por Rodrigo Fernandes (26 pontos)  

a.
Seja \(\hat{e}_{i}:=y_{i}-\hat{y}_{i}\), ou seja, o iésimo resíduo é a diferença entre o iésimo y e o iésimo y estimado. O vetor residual é dado por \(\hat{e}=\left(\hat{e}_{1}, \ldots, \hat{e}_{n}\right)^{T}\). Logo, esse vetor pode ser representado também como:
\(\hat{e}=Y-\hat{Y}\) (1)
Ou seja, a subtração do vetor da variável dependente \(Y\) real e sua estimação. Ainda, sabemos que:
\(\hat{Y}=X\left(X^{T} X\right)^{-1} X^{T} Y\)
no qual esse vetor \(\hat{Y}\) é a projeção ortogonal de \(Y\) no espaço coluna de \(X\). Definamos então \(A=X\left(X^{T} X\right)^{-1} X^{T}\). Assim, \(\hat{Y} = AY\) e \(A\) uma matriz idempotente e simetrica (algo testável), tal que \(AX = X\). Queremos provar que \(\hat{e}\) é ortogonal à \(X\).
Para provar isso, basta observar que:
\(\hat{e}=Y-\hat{Y}=(I-A) Y\) derivado da equação (1) e como \(AX=X\):
\(\hat{e}^{T} X=((I-A) Y)^{T} X
=Y^{T}(I-A) X=Y^{T}(X-A X)=Y^{T}(X-X)=0\)

Como isso, temos que \(\hat{e}^{T}X = 0\) e, consequentemente, para qualquer vetor \(v\) teremos \(\hat{e}^{T} X v=0\), o que nos diz que \(\hat{e}\) é ortogonal ao espaço coluna de X.


b.

  • Para o somatório: se existe constante, a primeira coluna de X (ou seja, \(X_{1}\)) será uma coluna de 1. Como \(\hat{e}^{T} X = \hat{X}^T \hat{e} = 0\), é necessário que o primeiro elemento do vetor originado desse produto seja zero, ou seja, \(X_{11} \times e_{1}+X_{12} \times e_{2}+\ldots+X_{1 n} \times e_{n} = 0\). Para isso acontecer, é necessário que \(\sum e_{i}=0\) já que os X's são iguais à 1.

  • Para \(E(\hat{e})\): assumido que o valor esperado do erro (não os
    residuos) seja zero, que é uma suposição clássica para OLS, e
    lembrando \(\hat{e}= (I-A) :\\\ \begin{aligned} \hat{e} &= (I-A) Y
    \\ &=({I}-{A})(X{\beta}+{u}) \\ &=({I}-{A}) {X} {\beta}+({I}-{A}) {u}
    \\ &={0}+({I}-{A}) {u} \\ &=({I}-{A}) {u} \end{aligned}\)

Tirando a esperança, teremos o pedido.

comentou 6 dias atrás por João Pedro Mussi (21 pontos)  
Ótima resposta do colega. Acredito que de maneira suscinta proporcionol a resposta correta à pergunta. Acredito também que uma maneira possível e similar de chegar ao mesmo resultado no item (a) expandindo de acordo com a exposição do valor de \(\beta\) matricial  :
 a)
Como \(e= Y -X\beta\) e \(\beta = (X^TX)^{-1}X^TY\)

Logo, \(X^Te = X^T(Y-X\beta)= X^TY - X^TX\beta=  X^TY - X^TX(X^TX)^{-1}X^TY\)
E resulta em: \(X^Te =  X^TY - (X^TX)(X^TX)^{-1}X^TY = X^TY - I.X^TY =  X^TY - .X^TY = 0 \)
...