De son vrai nom John H. Lebzelter, Jack Warden, d'un naturel bagarreur, s'illustre d'abord comme boxeur professionnel poids welter sous le nom de Johnny Costello. Videur, puis soldat, il rejoint les rangs de la marine pendant la Seconde Guerre mondiale, avant de s'engager chez les parachutistes. Blessé à la jambe, c'est durant sa convalescence qu'il découvre le théâtre et sa vraie vocation. De retour à la vie civile, Jack Warden prend des cours de comédie, puis s'illustre à Broadway et à la télévision. C'est en 1951 qu'il fait ses débuts au cinéma, dans la comédie You're in the Navy Now aux côtés d'autres anciens soldats comme Lee Marvin ou Charles Bronson. L'année suivante, il apparaît dans Tant qu'il y aura des hommes, puis campe le juré N° 7 de Douze hommes en colère de Sidney Lumet.

Cantonné aux rôles de soldats et de "gros durs", Jack Warden s'illustre durant la décennie suivante principalement à la télévision, où il affine son jeu et remporte notamment un Emmy Award en 1972. Sa rencontre avec Warren Beatty au début des années soixante-dix marque un tournant dans sa carrière : à ses côtés, il apparaît dans Shampoo et Le Ciel peut attendre, et glane deux nominations à l'Oscar du Meilleur second rôle. Il varie les rôles jusqu'à la fin de sa carrière, et s'illustre notamment dans Les Hommes du Président (1976), Mort sur le Nil (1978), Le Champion (1979), Bienvenue Mister Chance (1979), Le Verdict, Presidio, base militaire, San Francisco (1988), Toys (1992), La Loi de la nuit (1993), Dernières heures à Denver (1995), Coups de feu sur Broadway(1994) et Maudite Aphrodite (1995) de Woody Allen ou encore Bulworth de son ami Warren Beatty en 1998.