Antigamente, há várias décadas, Física-Matemática significava uma coleção de aplicações de matemática à Física. Bem o tipo de coisa que está no Butkov ou no Arfken. A ênfase era em técnicas de resolução de problemas comuns em física, em geral com predomínio de técnicas de resolução de EDOs, EDPs, análise de Fourier, análise complexa e funções especiais.
Hoje em dia, esse tipo de "Física-Matemática" transformou-se em "Métodos Matemáticos da Física", que tem quase um papel de uma continuação das sequências de Cálculo nos cursos introdutórios de Física, em termos de aplicação imediata de técnicas matemáticas e na pouca ênfase no rigor.
O que é chamado de Física-Matemática, hoje em dia, é uma forma de querer entender as teorias da física com rigor matemático, definindo com cuidado os conceitos matemáticos por trás de cada teoria física.
Talvez o protótipo de que seria chamado Física-Matemática é o tipo de coisa que está no V.I. Arnold, Mathematical Methods of Classical Mechanics. Compare com a exposição preferida dos Físicos, Landau, Mechanics. Ainda sobre mecânica, uma das vitórias da Física-Matemática no século XX foi o teorema KAM, que ajuda a fornecer condições de órbitas quase-periódicas.
Outra forma de ver o que é considerado física matemática é olhar o arxiv: http://arxiv.org/list/math-ph/new
Compare o hep-th, que tem as contribuições em física teórica de altas energias: http://arxiv.org/list/hep-th/new
Sobre referência benchmark, o consenso é que o Butkov é uma droga. Mas o pior é que apesar de tudo, Butkov e Arfken continuam sendo as referências padrões. Pessoalmente, como referência eu gosto de um livro antigo, o Morse, Feshbach, que tem quase tudo que se precisa saber sobre métodos matemáticos. Fora isso, prefiro usar livros específicos para cada tópico.