Acho que não existe nenhum livro adequado para as duas partes do curso (pelo menos como esse curso atualmente é lecionado na UnB). Dessa forma, como o curso combina duas partes distintas, vou preparar a resposta dessa forma:
Álgebra linear:
De fato, qualquer livro que explore os conceitos de forma adequada e não seja muito extensivo e detalhado (pois a parte de álgebra linear gastará apenas meio semestre) é adequado.
Eu pessoalmente gosto do livro do Adilson Gonçalves e Rita M. L. de Souza - Introdução à Álgebra Linear para o estudo da teoria. Ele tem uma exposição simples, mas cuidadosa do assunto. Ele não é muito bom de exercícios, pois a maioria dos exercícios são aplicações numéricas sem graça da teoria. Existem vários livros que introduzem problemas interessantes sobre o assunto (alguns problemas podem ser um pouco mais avançados que aqueles usados no curso), entre eles:
1) Matemática Questões ANPEC - Elsevier [Possui vários exercícios de álgebra linear que são interessantes]
2) Matrix Algebra (Econometric Exercises, Vol. 1) Karim M. Abadir e Jan R. Magnus [Excelente coletânea de exercícios que depois serão úteis em econometria.
3) Linear Algebra Problem Book (Dolciani Mathematical Expositions) Paul R. Halmos [Excelente e clássica coletânea de problemas de álgebra linear]
4) Álgebra Linear. Exercícios e Soluções (IMPA) RALPH COSTA TEIXEIRA
Para explorar a álgebra linear geometricamente, eu sugiro fortemente
Introduction to Linear Algebra - Gilbert Strang [Strang]
Existem também livros um pouco mais avançados que podem ser considerados como referências complementares. Eu particularmente sou fã dos seguintes:
1) Linear Algebra (Dover Books on Mathematics) Georgi E. Shilov
2) Finite Dimensional Vector Spaces - Paul R. Halmos
3) Linear Algebra - Kenneth M Hoffman e Ray Kunze
4) Álgebra Linear - um segundo curso (SBM) Hamilton Prado Bueno
Finalmente, um livro com muitos exercícios repetidos para quem tem pouca base com matrizes, determinantes e sistemas lineares no nível do ensino médio é
Álgebra Linear - Lipschutz Seymour, Coleção Schaum.
Cálculo e otimização no \(\mathbb{R}^n\):
Nesse caso, eu sugiro fortemente o livro Matemática Para Economistas (Bookman) Carl P. Simon e Lawrence Blume. O nível apresentado de otimização é interessante e ainda inclui um capítulo sobre topologia de conjuntos no \(\mathbb{R}^n\).