Après des études d'Histoire, Alain Cavalier entre à l'IDHEC puis devient assistant de Louis Malle (Ascenseur pour l'échafaud, Les Amants). Il passe à la réalisation avec le court métrage Un Américain (1958). Il enchaîne ensuite avec deux longs métrages politiques qui déclenchent les foudres de la censure : Le Combat dans l'ile (1961) qui a pour personnage principal un jeune fasciste et L'Insoumis (1964) sur la guerre d'Algérie. Malgré la présence de comédiens connus dans ces films (Romy Schneider, Alain Delon) ce sont des échecs commerciaux et Alain Cavalier passe à des oeuvres moins polémiques.

Il connaît ses premiers succès avec le polar Mise a sac (1967) et surtout avec une adaptation d'un livre de Francoise Sagan : La Chamade. C'est au moment où il est le plus en vue qu'il décide de renoncer à la réalisation pendant huit ans.

Il revient avec des oeuvres plus expérimentales et épurées comme Le Plein de super (1976) et Martin et Lea (1978). Après deux films sortis dans la confidentialité (Ce repondeur ne prend pas de messages, 1979; Un etrange voyage, 1980) il connaît un succès inattendu avec un long métrage sur la sainteté, Therese, ovationné à Cannes avec un Prix du jury, plébiscité aux César avec 6 récompenses dont celles du Meilleur film et du Meilleur réalisateur.

Le réalisateur poursuit son travail d'épure jusqu'à tourner un film sans dialogues : Libera me (1993) qui a pour thème l'oppression et la torture. Alain Cavalier décide alors d'abandonner la fiction et réalise des séries documentaires de portraits (Vies, 2000). Il dit à ce sujet : "J'en suis arrivé peu à peu à ne filmer qu'au plus près de mon expérience." En 2002 il mélange fiction et réalité avec René où l'un de ses amis comédien de 155 kg s'engage à perdre du poids.

Son travail autobiographique se poursuit avec Le Filmeur, un journal intime filmé entre 1994 et 2005, et présenté au Festival de Cannes dans la sélection " Un Certain Regard " en 2005. Cherchant toujours la Vérité avec un "V" majuscule, Alain Cavalier se met en scène tour à tour dans Irène (2009) et Pater (2011), aux côtés de Vincent Lindon pour parler, entre autres, de politique et du rapport au pouvoir.

Après le documentaire expérimental Le Paradis, proche du journal intime filmé, il sort en 2023 L'Amitié, un film consacré aux amis croisés au cours de sa carrière.