Homme de théâtre autant que de cinéma, Gilles Cohen a débuté sur grand écran en 1985, soit l'année même de sa première mise en scène sur les planches. Au petit rôle qu'il a tenu dans Parking de Jacques Demy ont succédé ceux qu'il a joués dans L'Affaire des divisions Morituri de François-Jacques Ossang, ainsi que dans Trois hommes et un couffin, puis Romuald et Juliette, tous deux de Coline Serreau.

Cette même Coline Serreau qui, avec Chaos (2001), est à l'origine du retour de Gilles Cohen au cinéma, lui qui s'était tenu éloigné des écrans pendant près de dix ans pour mieux se concentrer sur les nombreuses pièces qu'il a mises en scène au cours des années 90. Ne délaissant pas pour autant les planches, il se fait néanmoins plus présent sur grand écran, où il est à l'affiche d'un à deux films par an, parmi lesquels De battre, mon coeur s'est arrêté de Jacques Audiard (2005), L'Ecole pour tous d'Eric Rochant (2006), Les Ambitieux de Catherine Corsini (2007), Actrices de Valeria Bruni Tedeschi (2007) ou La Clef de Guillaume Nicloux (2007).

Visiblement bien installé au cinéma, Gilles Cohen est à l'affiche de quatre films en 2008, à commencer par Le Nouveau protocole de Thomas Vincent, où il a pour partenaires Clovis Cornillac et Marie-Josée Croze. Il réussit à s'imposer en tant que second rôle de choix, de ceux qui donnent du relief au personnage principal, et cette qualité fait de lui un homme demandé. Ainsi les réalisateurs français de renom se succèdent et on le voit chez Anne Fontaine en 2008 (La fille de Monaco), Audiard pour le multi-récompensé Un prophète et Patrice Chéreau avec Persécution en 2009. L'année suivante, il est de l'aventure pour le premier film d'Emma Luchini, une histoire d'amour-haine entre Vincent Elbaz et Vanessa David, intitulée Sweet Valentine.