Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Assuma que as colunas de \(X\), \(X_1,...,X_p\), são ortogonais; Isto é, \(X_i^T X_j = 0\), para todo \(i \neq j\). Mostre que a matriz de covariância dos estimadores de mínimos quadrados ordinários é diagonal.

+1 voto
30 visitas
perguntada Mai 13 em Estatística por João Isidio (26 pontos)  
editado Mai 25 por João Isidio

Assuma que as colunas de \(X\), \(X_1,...,X_p\), são ortogonais; Isto é, \(X_i^T X_j = 0\), para todo \(i \neq j\). Mostre que a matriz de covariância dos estimadores de mínimos quadrados ordinários é diagonal.

Exercício 18 do capítulo 14 do livro "Mathematical Statistics and Data Analysis" de John A. Rice

Compartilhe

1 Resposta

+1 voto
respondida Mai 13 por João Isidio (26 pontos)  

Vamos representar a matriz \(X\) por suas colunas da seguinte forma:

\[ X_{n \times k} = \left[ \begin{array}{cccc} X_1 & X_2 & \dots & X_k \\ \end{array} \right]_{n \times k} \]

Onde \(X_i\) é o i-ésimo vetor coluna de tamanho \(n\) da matriz \(X\).

A transposta \(X^T\) terá, por sua vez, o seguinte aspecto:

\[ X_{k \times n}^T = \left[ \begin{array}{c} X_1^T \\ X_2^T \\ \vdots \\ X_k^T \\ \end{array} \right]_{k \times n} \]

Já o produto \(X^TX\) terá o seguinte aspecto:

\[ X_{k \times n}^T X_{n \times k} = \left[ \begin{array}{c} X_1^T \\ X_2^T \\ \vdots \\ X_k^T \\ \end{array} \right]_{k \times n} \left[ \begin{array}{cccc} X_1 & X_2 & \dots & X_k \\ \end{array} \right]_{n \times k} \]

\[ X^T X = \left[ \begin{array}{cccc} X_1^TX_1 & X_1^TX_2 & \dots & X_1^TX_k \\ X_2^TX_1 & X_2^TX_2 & \dots & X_2^TX_k \\ \vdots & \vdots & \ddots & \vdots \\ X_k^TX_1 & X_k^TX_2 & \dots & X_k^TX_k \\ \end{array} \right]_{k \times k} \]

Sabemos que a matriz de covariância de MQO é calculada da seguinte forma:

\[Var[\hat\beta|X] = \sigma^2(X^T X)^{-1} \]

Então temos que:

\[Var[\hat\beta|X] = \sigma^2\left[ \begin{array}{cccc} X_1^TX_1 & X_1^TX_2 & \dots & X_1^TX_k \\ X_2^TX_1 & X_2^TX_2 & \dots & X_2^TX_k \\ \vdots & \vdots & \ddots & \vdots \\ X_k^TX_1 & X_k^TX_2 & \dots & X_k^TX_k \\ \end{array} \right]_{k \times k}^{-1} \]

Como \(X_i^TX_j=0\) para todo \(i \neq j\), tem-se que:

\[Var[\hat\beta|X] = \sigma^2\left[ \begin{array}{cccc} X_1^TX_1 & 0 & \dots & 0 \\ 0 & X_2^TX_2 & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & X_k^TX_k \\ \end{array} \right]_{k \times k}^{-1} \]

Como os elementos da diagonal são não nulos, podemos concluir que:

\[Var[\hat\beta|X] = \left[ \begin{array}{cccc} \sigma^2(X_1^TX_1)^{-1} & 0 & \dots & 0 \\ 0 & \sigma^2(X_2^TX_2)^{-1} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \sigma^2(X_k^TX_k)^{-1} \\ \end{array} \right]_{k \times k} \]

Ou seja, que a matriz de covariância é diagonal.

comentou Mai 20 por Caio Oliveira Dantas (16 pontos)  
Resolução impecável! O exercício se assemelha a uma prova do teorema de Gauss-Markov, bastando acrescentar as hipóteses de esfericidade dos erros, linearidade e exogeneidade estrita para demonstrar que o estimador MQO é BLUE.
comentou Mai 24 por danielcajueiro (5,581 pontos)  
Seria interessante evitar colocar a referência a fonte da questão no título, mas sim colocar o enunciado ou um título ou uma manchete para a questão. A referencia para o livro pode vir na caixa de texto abaixo.
comentou Mai 25 por João Isidio (26 pontos)  
A alteração foi realizada.
...