Certes, Jean-Paul Roussillon apparaît à l'écran dès 1954 (dans La Chair et le diable) et on l'aperçoit dans Voici le temps des assassins et Week-end à Zuydcoote. Mais jusqu'aux années 80, lui dont le père était directeur de scène à la Comédie-française, se consacre essentiellement au théâtre. Passé par la Rue Blanche puis le Conservatoire, il est accueilli à 19 ans comme pensionnaire de la Comédie-Française, maison dont il deviendra le 432e sociétaire honoraire en 1982. On salue aussi bien son talent d'acteur (il campe un Scapin et un Estragon qui feront date) que de metteur en scène -c'est lui qui dirige la toute jeune Isabelle Adjani dans L'Ecole des femmes en 1972.

Jean-Paul Roussillon est à ses débuts un jeune premier bondissant, mais au fil du temps, sa silhouette se fait plus massive, son visage gracieusement parcheminé. Plus présent au cinéma dans les années 80, il campe un juge dans Une affaire d'hommes (1982), tourne avec Losey (La Truite) et enchaîne les seconds rôles dans des films souvent sombres (On ne meurt que deux fois, Baxter, Plein fer) et des séries policières.

De la décennie suivante, on retiendra surtout La Fille de d'Artagnan de Bertrand Tavernier, où il campe Planchet, le comparse du mousquetaire Noiret, et On connaît la chanson de Resnais dans lequel il s'inquiète pour sa fille dépressive Agnès Jaoui. En 2001, le grand public le découvre en paysan plus vrai que nature dans le film à succès Une Hirondelle a fait le printemps -composition qui lui vaut une nomination au César du Meilleur second rôle. en 2002, il apporte toute son humanité à Mischka, vrai-faux chef de famille du road-movie décalé de Jean-François Stévenin.

Roussillon, qui n'a pas abandonné le théâtre durant toutes ces années, se voit confier par Arnaud Desplechin un rôle dans un film inspiré d'une pièce d'Edward Bond Léo en jouant "Dans la compagnie des hommes" (2003). C'est le début d'une belle collaboration, puisque le cinéaste le retrouvera sur Rois & reine (2003) puis Un conte de Noël (2008). Grâce à ce dernier film, dans lequel il forme avec Catherine Deneuve un couple tendre et étonnamment crédible, il décroche le César du Meilleur second rôle. Lauréat de 3 Molières, le truculent Jean-Paul Roussillon, sur scène dans La Cerisaie quelques semaines avant sa mort, était, selon Christophe Malavoy -qui le dirigea dans Zone libre- de la famille des Harry Baur, Michel Simon"