Primeira vez aqui? Seja bem vindo e cheque o FAQ!
x

Suponha que \((X_1,X_2,..., X_n)\) sejam i.i.d \(N(\mu,\sigma)\).

+1 voto
59 visitas
perguntada Abr 18 em Matemática por João Pedro Mussi (31 pontos)  
editado Mai 17 por João Pedro Mussi

Mathematical Statistics and Data Analysis- John Rice - Cap 8 - Ex 17- Segunda Edição

  1. Se \(\mu\) é conhecido, qual é o estimador de máximo verossimilhança (emv) de \(\sigma\)?

  2. Se \(\sigma\) é conhecido qual é o emv de \(\mu\)?

  3. No caso acima (\(\sigma\) conhecido), algum estimador não viesado de \(\mu\) tem uma variância menor?

Compartilhe

1 Resposta

0 votos
respondida Abr 18 por João Pedro Mussi (31 pontos)  
editado Mai 17 por João Pedro Mussi

Dado que temos variáveis iid e com distruibuição normal podemos assumir que a função de distribuição de probabilidade de \(X_i\): \[ f(x_i, \mu,\sigma) = \frac{1}{\sigma\sqrt[2]{2\pi}}exp[-\frac{(X_i - \mu)^2}{2\sigma^2}]\]
Utilizando a função de verossimilhança para uma distruibuição normal de acordo com a pág 255 \[L(\mu,\sigma) =\sigma^{-n} (\sqrt[2]2\pi)^{-n/2}exp[-\frac{1}{2\sigma^2}{\sum_{i=1}^{n}(X_i - \mu)^2}]\]

1)\(\mu\) é conhecido e \(\sigma^2 = \theta_1\) desconhecido

Substituindo na função de distribuição de probabilidade temos que \[ f(x_i, \mu,\theta_1) = \frac{1}{\theta_1^{1/2}\sqrt[2]{2\pi}}exp[-\frac{(X_i - \mu)^2}{2\theta_1}]\]

Estabelecendo a relação da função de verossimilhança e da função de distribuição de probabilidade em que \(L(\mu,\theta_1) = \prod_{i=1}^{n} f(X_i,\mu,\theta_1)\) temos que \[L(\mu,\theta_1) =\theta_1^{-n/2} (\sqrt[2]2\pi)^{-n/2}exp[-\frac{1}{2\theta_1}{\sum_{i=1}^{n}(X_i - \mu)^2}]\]

Utilizando o operador de logaritmo na expressão acima temos que \[lnL(\mu,\theta_1) = \frac{-n}{2}ln\theta_1- {-\frac{n}{2}}ln(2\pi)-\frac{1}{2\theta_1}{\sum_{i=1}^{n}(X_i - \mu)^2}\]

Maximizando a expressão acima tomando a derivada parcial em relação \(\theta_1\) e igualando a zero (sequencialmente será tomada a segunda derivada para demonstrar que é um ponto de máximo): \[\dfrac{\partial lnL}{\partial \theta_1} =\frac{-n}{2\theta_1}+\dfrac{\sum_{i=1}^{n}(X_i - \mu)^2}{2\theta_1^2} = 0 \]

Fazendo a derivada parcial novamente para \(\theta_1\) \[ \dfrac{\partial^2 lnL}{\partial^2 \theta_1} = \dfrac{n}{2\theta_1^2} - 2\dfrac{\sum_{i=1}^{n}(X_i - \mu)^2}{2\theta_1^3} \]

Para provar que é ponto de máximo é necessário que a expressão acima seja \(\lt 0 \), reorganizando ela temos que \[ \theta_1 \lt 2\dfrac{\sum_{i=1}^{n}(X_i - \mu)^2}{n} \]

A expressão a direita é o estimador viesado da variância multiplicado por dois e como temos uma distruibuição normal iid \( \theta_1\) será menor mesmo que seja igual a variância viesada.

Portanto, resolvendo a primeira derivada parcial temos que: \[ \theta_1 = \dfrac{\sum_{i=1}^{n}(X_i - \mu)^2}{n} \].
Logo, \( \theta_1= \hat\sigma^2= \dfrac{\sum_{i=1}^{n}(X_i - \mu)^2}{n} \).

Portanto o desvio padrão será: \[\hat\sigma=\sqrt{\dfrac{\sum_{i=1}^{n}(X_i - \mu)^2}{n}} \].

2) \(\sigma\) é conhecido e \(\mu= \theta_2\) desconhecido

Substituindo na função de distribuição de probabilidade temos que \[ f(x_i, \theta_2,\sigma) = \frac{1}{\sigma\sqrt[2]{2\pi}}exp[-\frac{(X_i - \theta_2)^2}{2\sigma^2}]\]

Estabelecendo a relação da função de verossimilhança e da função de distribuição de probabilidade em que \(L(\theta_2,\sigma) = \prod_{i=1}^{n} f(X_i,\theta_2,\sigma)\) temos que \[L(\theta_2,\sigma) =\sigma^{-n} (\sqrt[2]2\pi)^{-n/2}exp[-\frac{1}{2\sigma^2}{\sum_{i=1}^{n}(X_i - \theta_2)^2}]\]

Utilizando o operador de logaritmo na expressão acima temos que \[lnL(\theta_2,\sigma) =-nln\sigma- {-\frac{n}{2}}ln(2\pi)-\frac{1}{2\sigma^2}{\sum_{i=1}^{n}(X_i - \theta_2)^2}\]

Maximizando a expressão acima tomando a derivada parcial em relação \(\theta_2\) e igualando a zero (sequencialmente será tomada a segunda derivada para demonstrar que é um ponto de máximo): \[\frac{\partial lnL}{\partial \theta_2} = \dfrac{-2\sum_{i=1}^{n}(X_i - \theta_2)(-1)}{2\sigma^2} = 0 \]

Fazendo a derivada parcial novamente para \(\theta_2\) \[\frac{\partial^2 lnL}{\partial^2 \theta_2} = \dfrac{-2}{2\sigma^2} \lt 0 \]

Como \(\sigma^2 \gt 0\) temos que é um ponto de máximo.
Resolvendo a equação da primeira deriva parcial acima chega-se a: \[ \sum_{i=1}^{n}X_i - n\theta_2 = 0\]

Portanto, o Estimador de Máxima Verossimilhança é \[ \theta_2 =\frac{\sum_{i=1}^{n}X_i}{n} = \hat\mu = \overline X \]

3) Estimador não viesado de \(\mu\) com uma variância menor dado \(\sigma\)?

Calculando a variância de \(\hat\mu\ = \overline X\) temos: \[ Var(\hat\mu) = Var (\frac{1}{n}\sum_{i=1}^{n}X_i) = \frac{1}{n^2}\sum_{i=1}^{n}Var(X_i) \]

Logo temos, \[ Var(\hat\mu) = \dfrac{\sigma^2}{n} \].

Calculando o Erro Quadrático Médio: \[ EQM = Var (\hat\mu) + E[ \hat\mu - \mu]^2 \] dado que \(viés = E[ \hat\mu - \mu]^2 \) em \(0\lt viés \lt \infty\)

Como \( \mu = \overline X\) pois temos um conjunto iid temos que: \[viés = E[ \overline X - \overline X ]= 0\]

Logo, \( Var (\hat\mu)=EQM =\dfrac{\sigma^2}{n}\). Qualquer variação na função da variância da média para casos iid iria criar viés. Portanto, no caso apresentado em 2) não temos viés sendo assim o melhor não viesado.

comentou Mai 17 por João Coutinho (21 pontos)  
Oi João, queria pontuar alguma coisas.
A primeira não está diretamente ligada à resolução, mas à nomenclatura do problema. Eu estou usando a terceira edição do livro (2006) e nela este exercício não é o número 17, e sim o número 19. Então acho que seria interessante você indicar no enunciado qual edição do livro está usando.
A segunda coisa que queria comentar é que no item (a) ele pede a estimativa de máxima verossimilhança do desvio padrão e o seu resultado final indica a estimativa para a variância. Pra resolver esse problema é fácil, basta tirar a raiz quadrada do resultado que você apresentou, visto que o resto da sua resolução parece estar correta.
O último ponto que gostaria de apontar é que achei muito interessante a maneira com a qual você resolveu o item (c). Eu usei o teorema de Cramer-Rao para mostrar que o limite inferior do estimador de máxima verossimilhança é igual à \(\frac{\sigma^2}{n}\), que é justamente a variância estimada por máxima verossimilhança. Acredito que as duas formas estão corretas.
comentou Mai 17 por João Pedro Mussi (31 pontos)  
Olá João, muito obrigado pelo seu comentário. Em relação a edição do livro concordo que seja bom indicá-la para que não haja confusão, eu tinha a disposição a segunda edição e por isso o número da questão é diferente.
Em relação ao erro do item (a) agradeço novamente pois realmente não me atentei e deixei como variância e não desvio padrão. Corrigi e agora acredito que está de acordo com a pergunta e realmente era somente tirar a raíz quadrada.
Por fim, muito bom ponto sobre o Teorema de Cramer-Rao, ele realmente possibilita o mesmo resultado mas acredito que para utiliza-lo é necessário a função de densidade de probabilidade.
...