Eu vou colocar uma resposta simples, mas eu esperaria por uma resposta mais completa com exemplos, pois esse tema é muito importante.
Teoria do Caos estuda os chamados sistemas caóticos. Normalmente, a ideia de um sistema ser caótico está associada a noção de um sistema ser (1) sensível a condições iniciais. Isso significa se eu variar um pouco as condições iniciais de um sistema, as trajetórias desse sistema serão totalmente diferentes. Veja um exemplo aqui.
Entretanto, sensibilidade as condições iniciais não é suficiente para o que definimos como caos. As outras propriedades são:
(2) Mistura topológica: que intuitivamente diz que qualquer região do espaço de fases (espaço dos possíveis estados do sistema) se sobrepõe a qualquer outra região (ou seja, não existe situações onde o sistema se isola em uma determinada região).
(3) Densidade das órbitas do espaço: que diz que qualquer ponto do espaço de fazer pode ser aproximado pelas órbitas do sistema (ou seja, praticamente qualquer ponto do espaço passa muito próximo de uma órbita do sistema).