La première vocation du jeune Jean Grémillon est la musique, qu'il écoute et pratique assidument, au grand désespoir de son père, sous-chef de section aux chemins de fer de l'Ouest. Lycéen à Brest puis à Dinan, il passe ensuite deux ans au Havre avant de gagner Paris, à 20 ans. Inscrit à la Schola Cantorum, où on enseigne la musique et le théâtre, il évolue dans un milieu d'artistes, se liant notamment avec le comédien Charles Dullin. Violoniste au sein d'orchestres qui se produisent pendant les projections de films muets, il noue une amitié avec le projectionniste et futur chef-opérateur Georges Périnal.

De 1923 à 1925, Jean Grémillon réalise une quinzaine de documentaires ("La photogénie mécanique", "La Vie des travailleurs italiens en France"...), qui témoignent à la fois de sa curiosité pour le monde qui l'entoure et de son souci esthétique. Grâce à Dullin, qui fonde sa société de production, il réalise en 1927 son premier long métrage de fiction, Maldone, qui ne trouve pas son public. Son film suivant, Gardiens de phare, écrit par Jacques Feyder d'après un drame du Grand-Guignol, reçoit un meilleur accueil. Il poursuit dans la veine du mélo avec La Petite Lise, son premier film parlant en 1930, sur un scénario de Charles Spaak, mais cette oeuvre formellement audacieuse est boudée par les spectateurs.

Contraint d'accepter des projets mineurs qui ne l'enthousiasment guère ("Dainah la métisse", 'Pour un sou d'amour"), il s'exile en Espagne, où il tourne La Dolorosa, film musical empreint de religiosité et Centinela Alerta!, co-réalisé par Buñuel. Il travaille ensuite pour la branche française de la société allemande UFA, qui lui confie la réalisation de Gueule d'amour en 1937. Entre séduction et fragilité, la star Jean Gabin y trouve un de ses plus beaux rôles, celui d'un militaire épris d'une femme fatale. Autre monstre sacré, Raimu campe un malfaiteur qui cache bien son jeu dans L' Etrange Monsieur Victor, autre classique de Grémillon en 1938. L'année suivante, il retrouve Gabin à l'occasion du tournage -souvent interrompu à cause de la guerre- de Remorques. Grand amoureux de la mer, le cinéaste lui confie le rôle d'un capitaine, qui doit affronter la tempête, mais aussi les tourments causés par sa passion pour deux femmes (Madeleine Renaud et Michèle Morgan).

Attaché à ses racines populaires, il filme avec bienveillance, mais sans complaisance, les ouvriers d'un chantier dans Lumiere d'été et dépeint un couple de garagistes férus d'aviation dans Le ciel est à vous. Après ces deux films tournés pendant l'Occupation, il revient au documentaire pour dresser un portrait de sa Normandie natale à l'heure du Débarquement (Le 6 juin a l'aube). En raison d'une succession d'échecs commerciaux, il ne parvient pas à financer des projets qui lui tiennent à coeur, notamment un film sur la Commune. Elu président de la cinémathèque en 1944, il remplace Jean Anouilh, souffrant, en plein tournage de Pattes blanches en 1949.

Après des retrouvailles avec Michèle Morgan (L' Etrange Madame X en 1951), le féministe Jean Grémillon signe en 1954 son ultime long métrage, L'Amour d'une femme, avec Micheline Presle en médecin qui refuse de renoncer à son métier. Ne jouissant pas du même statut que Renoir ou Carné (même si son oeuvre sera réévaluée après sa mort), il ne tournera plus ensuite que des courts métrages documentaires, comme à ses débuts. En 1958, peu après son séjour à Venise, en tant que Président du jury aux côtés de son vieux complice René Clair, il est hospitalisé durant plusieurs mois. Il disparait le 25 novembre 1959, le même jour que l'icône Gérard Philipe.