Existem vários níveis de livros de otimização:
1) Livros aplicados para economia por exemplo:
São livros bem introdutórios que explicam como usar a teoria de otimização para a solução de problemas simples:
Mathematics for Economists - Carl P. Simon and Lawrence E. Blume
Optimal Control Theory and Static Optimization in Economics - Daniel Léonard and Ngo van Long
Esse livro é uma mista de teoria e aplicação: A First Course in Optimization Theory - Rangarajan K. Sundaram
2) Teoria de Otimização e Análise Convexa
A. Izmailov e M. Solodov. Otimização - Volume 1.
Um livro clássico e fantástico é Ralph Tyrell Rockafellar - Convex Analysis.
Uma opção muito boa e intuitiva que explora também aspectos numéricos é Stephen Boyd e Lieven Vandenberghe - Convex Optimization, 2004. Esse livro é particularmente muito usado por engenheiros.
3) Otimização dinâmica
Dê uma olhada aqui