Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Alguém pode me explicar intuitivamente o que é o estimador de mínimos quadrados?

0 votos
93 visitas
perguntada Ago 8, 2015 em Estatística por danielcajueiro (5,711 pontos)  
Compartilhe

1 Resposta

0 votos
respondida Ago 8, 2015 por danielcajueiro (5,711 pontos)  

Se você ainda não sabe o que é um estimador, dê uma olhada aqui. Em caso contrário, continue lendo o material abaixo.

Para podermos discutir um problema real, suponha que você deseja estimar um modelo de regressão linear:

\[y=\alpha + \beta x +u,\]

onde \(x\) e \(y\) são vetores de tamanho \(n\), \(\alpha\) e \(\beta\) são constantes que definem o modelo regressão linear e \(u\) é o erro de modelagem. A inclusão do erro \(u\) no modelo explicita que temos noção da nossa ignorância quando trabalhamos com os dados reais \(x\) e \(y\).

O estimador de mínimos quadrados é aquele que minimiza a soma dos quadrados dos erros, isto é, ele busca estimativas \(\hat \alpha_{MQ}\) e \(\hat \beta_{MQ}\) que resolvem a equação seguinte para uma determinada amostra de tamanho \(n\):

\[\min_{\alpha,\beta}\sum_{t=1}^{n} [y_t-(\alpha +\beta x_t)]^2,\]

\(\hat y=\hat \alpha +\hat \beta x_t\) é o valor estimado de \(y\) depois que os parâmetros \(\alpha\) e \(\beta\) forem encontrados através da minimização explicitada da função acima. Logo, o problema que estamos resolvendo é minimizar a soma das diferenças ao quadrado do \(y\) verdadeiro e do \(\hat y\) que é o estimado. Para resolver esse problema, precisamos apenas derivar em relação ao \(\alpha\) e o \(\beta\) e igualar a zero. Como a função acima é uma função convexa, ela possui um mínimo bem definido que depende dos valores da amostra \(y_1,\cdots,y_n\) e \(x_1,\cdots,x_n\). De fato, se derivarmos essa equação e igualarmos a zero, encontramos uma forma fechada para \(\hat \alpha_{MQ}\) e \(\hat \beta_{MQ}\) que está disponível na maioria dos softwares.

É fácil perceber que o método de mínimos quadrados conforme foi definido acima é baseado em "Força Bruta". De fato, não fizemos nenhuma hipótese estatística sobre a distribuição estatística das variáveis envolvidas. Entretanto, o interessante é que mesmo sem fazer nenhuma hipótese restritiva sobre os dados, se fizermos algumas hipóteses simples, podemos verificar que o estimador de mínimos quadrados possui uma série de propriedades interessantes. Dê uma olhada nessa resposta aqui, que explora intuitivamente algumas propriedades do estimador de mínimos quadrados.

Formalmente, o estimador de mínimos quadrados está bem definido. Ele resolve o seguinte problema: Dado um vetor \(y\) que pertence a um determinado espaço vetorial \(V\) e dado um subespaço próprio de \(W\) de \(V\), ele busca o vetor em \(W\) que possui a menor distância a \(y\). A solução apresentada por esse problema matemático é apresentada pelo Teorema da Projeção em Espaços de Hilbert. Veja aqui uma discussão sobre esse assunto.

...