Eu pretendo antes responder a resposta chamar a atenção para um livro que embora não seja de otimização dinâmica, seja fundamental para aprender esse tema:
Optimization by Vector Space Methods - David G. Luenberger
Outro livro maravilhoso na área que lida parcialmente com otimização dinâmica é
Introduction to the Calculus of Variations - Hans Sagan
Dois livros fantásticos que lidam com programação dinâmica:
Dynamic Programming and Optimal Control by Dimitri P. Bertsekas
Markov Decision Processes: Discrete Stochastic Dynamic Programming by Martin L. Puterman
Com esses livros, você vai entender realmente do que trata otimização dinâmica.