Se você ainda não sabe o que é a estatística Bayesiana, dê uma olhada aqui.
Eu acredito que as duas maiores críticas são:
1) Estatística Bayesiana exige que seja conhecida uma distribuição a priori para os parâmetros desconhecidos. Mesmo quando não existe nenhum conhecimento a priori sobre esse assunto, você precisa dessa informação. A maior crítica aparece quando se percebe que diferentes distribuições a priori podem gerar diferentes estimativas e diferentes pesquisadores podem ter diferentes prioris relacioanadas com o mesmo problema (o que não é nem um pouco objetivo).
Essa crítica pode ser respondida considerando os seguintes argumentos:
a) Se não há uma boa distribuição a priori, escolha uma que NÃO dê informação sobre o problema. Por exemplo, a distribuição uniforme.
b) Talvez a estatística bayesiana enfoque o problema considerando a realidade em que as vezes não existe uma solução objetiva para o problema.
c) Se sua base de dados é grande, a distribuição a priori terá pouco efeito na estimativa.
2) Métodos de estatística bayesiana dependem de integrais múltiplas cuja multiplicidade é dada pela dimensão do vetor de parâmetros.
A resposta a essa crítica deve considerar que:
O método de MCMC (Markov Chain Monte Carlo) resolve esse problema através de amostragens. Entretanto, ele pode demorar bastante de convergir.