Issu de la Goodman School of Drama de Chicago, John C. Reilly fait son apprentissage dans deux théâtres légendaires de la "Cité des Vents" : le Steppenwolf et l'Organic Theatre. Il apparaît pour la première fois à l'écran en 1989 dans Outrages de Brian De Palma. Il y interprète, aux côtés de Sean Penn, un soldat américain violant une jeune Vietnamienne.

Souvent englobé dans un groupe ou une bande, il est l'archétype du "complice" : racketteur avec Gary Oldman dans Les Anges de la nuit (1990), preneur d'otages aux côtés de Kevin Bacon dans La Rivière sauvage (1994), soldat américain en pleine guerre du Pacifique dans La Ligne rouge (1999) ou encore marin pêcheur coéquipier de George Clooney dans En pleine tempête (2000).

Second rôle incontournable, cet homme corpulent et "bonne pâte" interprète également des personnages de meilleur ami confident : acteur porno expliquant les ficelles du métier à Mark Wahlberg dans Boogie nights (1997), seconde réalisation de Paul Thomas Anderson (il est dans les trois premiers longs métrages du cinéaste), joueur de base-ball coéquipier de Kevin Costner dans Pour l'amour du jeu (2000) ou encore ami du couple Jennifer Jason Leigh / Alan Cumming dans The Anniversary party (2001).

Une autre de ses spécialités : les personnages de benêt et d'homme malheureux en amour. En témoignent ses prestations de policier célibataire dans Magnolia (2000), de mari trompé dans The Good girl (2003), d'époux transparent dans Chicago (id.), qui lui permet d'obtenir une citation à l'Oscar du Meilleur second rôle, et d'éternel célibataire dans Cyrus (2010).

Jouant à deux reprises sous la direction de Martin Scorsese dans Gangs of New York (2002) et Aviator (2004), John C. Reilly occupe enfin le haut de l'affiche avec Criminal. (id.), le remake américain du polar argentin Les Neuf Reines et surtout avec Walk Hard - The Dewey Cox Story, une parodie de biopics musicaux écrit et produit par Judd Apatow. Il joue d'ailleurs dans plusieurs productions du roi de la comédie américaine, toujours en compagnie de Will Ferrell (Ricky Bobby : roi du circuit, Frangins malgré eux).

Il poursuit sa carrière en s'illustrant dans des univers aussi variés que ceux proposés par Hideo Nakata (le remake de Dark water) et Robert Altman (The Last Show, 2006), avant de prêter sa voix pour les besoins du dessin animé Numéro 9 (2009), puis d'incarner des pères de famille chez Roman Polanski (Carnage, 2011) et Lynne Ramsay (We Need to Talk About Kevin, id.). En 2012, il prend part à The Dictator, nouveau délire de Sacha Baron Cohen, pour ensuite doubler le personnage principal du film d'animation Les Mondes de Ralph la même année.

Alternant films d'auteurs et productions grand public, John C. Reilly est à l'affiche des Gardiens de la Galaxie, Tale of Tales, The Lobster ou encore Kong: Skull Island. Le comédien tourne aussi sous la direction de metteurs en scènes français. Il effectue ainsi une apparition inattendue dans Les Cowboys de Thomas Bidegain (scénariste de Jacques Audiard) mais surtout campe l'un des deux frères dans Les Frères Sisters, western réalisé par Audiard où il donne la réplique à Joaquin Phoenix.

On le voit ensuite dans la peau du célèbre acteur comique Oliver Hardy dans la biopic Stan & Ollie aux côtés de Steeve Coogan qui lui campe Stan Laurel. Il retrouve ensuite Paul Thomas Anderson pour un petit rôle dans Licorice Pizza et joue le rédacteur en chef du magazine américain dans le thriller Stars At Noon. Aimant les projets originaux, il donne la réplique à Nadia Tereszkiewicz dans le western comique Pile ou face et prête sa voix pour des courts métrages comme Un conte de Noël, ou presque.

Côté séries, il joue dans quelques épisodes de Moonbase 8 et Ultra City Smiths. Mais surtout, John campe l'un des personnages réguliers de Winning Time: The Rise of the Lakers Dynasty, retraçant l’âge d’or des Lakers de la NBA. Il y campe l'homme d'affaires Jerry Buss, propriétaire de la célébrissime équipe de Los Angeles.