Die Chaosforschung oder Chaostheorie bezeichnet ein nicht klar umgrenztes Teilgebiet der nichtlinearen Dynamik bzw. der dynamischen Systeme, welches der mathematischen Physik oder angewandten Mathematik zugeordnet ist.
Im Wesentlichen beschäftigt sie sich mit Ordnungen in speziellen dynamischen Systemen, deren zeitliche Entwicklung unvorhersagbar erscheint, obwohl die zugrundeliegenden Gleichungen deterministisch sind. Dieses Verhalten wird als deterministisches Chaos bezeichnet und entsteht, wenn Systeme empfindlich von den Anfangsbedingungen abhängen: Ganz leicht verschiedene Wiederholungen eines Experimentes können im Langzeitverhalten zu höchst unterschiedlichen Messergebnissen führen (die Chaostheorie besagt also nicht, dass identische Anfangsbedingungen zu verschiedenen Ergebnissen führen würden).
Chaotische dynamische Systeme sind nichtlinear.
Als einführendes Beispiel wird oft auf das magnetische Pendel oder das Doppelpendel verwiesen.
Andere Beispiele sind der Schmetterlingseffekt beim Wetter, Turbulenzen, Wirtschaftskreisläufe, bestimmte Musterbildungsprozesse, wie beispielsweise Erosion, die Entstehung eines Verkehrsstaus, neuronale Netze sowie Laser.
Die Chaosforschung basiert unter anderem auf Arbeiten von Henri Poincaré, Edward N. Lorenz, Benoît Mandelbrot und Mitchell Feigenbaum. Die hier dargestellten Phänomene entsprechen dem Minimalkonsens darüber, was thematisch zur Chaosforschung zählt.