Diplômé de l'IDHEC en 1947, Rozier se fait très vite une réputation dans le monde du court-métrage. En 1955, il réalise son premier court-métrage, Rentree des classes, rapidement suivie par Blue jeans, qui dresse un portrait attachant de la jeunesse d'après-guerre. Les deux courts-métrages qui suivent, Paparazzi et Le Parti des choses, reviennent sur le tournage du Mépris, le film mythique de Jean-Luc Godard. Assistant sur les plateaux de cinéma (notamment sur celui de Jean Renoir pour French Cancan, en 1955), il rentre aux studios de télévision des Buttes-Chaumont. Ce premier emploi l'amène peu à peu à la carrière de réalisateur de documentaires, qui lui vient en aide entre deux films; car ses long-métrages, bien que souvent couvert de critiques élogieuses, sont des échecs financiers.

En 1960, Rozier réalise son premier film, Adieu Philippine, chronique douce-amère de la jeunesse française, ayant pour toile de fond la guerre d'Algérie. Bien que le film ne sorte qu'en 1963, le cinéaste reçoit un accueil critique et publique très favorable. Cette première réalisation devient l'un des films phares de la nouvelle vague, et les cinéastes François Truffaut et Jean-Luc Godard prennent même publiquement sa défense. Son film suivant, Du cote d'Orouet, sort neuf ans plus tard, en 1969. Ce film, un récit d'une famille de classe moyenne en vacances, a pour vedettes Bernard Ménez et Caroline Cartier. En 1974, Jacques Rozier fait appel à Pierre Richard pour interpréter Les Naufragés de l'ile de la Tortue. On y retrouve certains aspects d'Adieu Philippine : un humour au bord du cynisme et un penchant pour le rêve, les climats oniriques. Maine Ocean (1985) est l'occasion pour le cinéaste d'aborder un style plus intimiste, en rassemblant plusieurs acteurs (Bernard Menez, Luis Rego, Yves Alfonso)dans un étrange voyage en train, filmé en temps réel. En 2001, le réalisateur présente à la Mostra de Venise son dernier film, Fifi Martingale, une comédie se déroulant dans le casino d'Enghiens-les-bains, où Jean Lefebvre, Yves Alfonso, Alexandra Stewart et Jacques François se donnent la réplique.