Né à Los Angeles, mais élevé à Manhattan, James Cromwell a grandi dans un milieu artistique. Il découvre sa vocation au contact de son père, le réalisateur John Cromwell - "blacklisté" à Hollywood en 1953, pendant la chasse aux sorcières - et de sa mère, Kay Johnson - vue dans Madame Satan de Cecil B. DeMille ou encore La Ruée de Frank Capra. Après des études d'interprétation et de mise en scène à l'Université Carnégie-Mellon, il débute au théâtre, où il joue aussi bien du Shakespeare que des pièces expérimentales.

Avant tout acteur de télévision, James Cromwell s'est illustré dans de nombreuses séries parmi lesquelles Arnold et Willy, Star Trek : Next Generation, Dallas ou encore M.A.S.H.. Au cinéma, c'est sous la direction du réalisateur Robert Moore (Un cadavre au dessert, Le Privé de ces dames) qu'il fait ses débuts au cinéma. Découvert dans des comédies comme L'Homme aux deux cerveaux (1982), Un sacré bordel ! (1987) ou Pink Cadillac (1990), il est cité à l'Oscar du Meilleur second rôle pour le film familial Babe, le cochon devenu berger (1985). Il incarnera à nouveau le fermier Hoggett dans la suite Babe, le cochon dans la ville (1998).

Entre-temps, James Cromwell marque les esprits par ses prestations dans Larry Flynt (1997), où il campe un politicien puritain, et L.A. Confidential (id.), où il interprète un policier véreux. Incontournable second rôle, il aime à composer des personnages imposant le respect et l'autorité : sénateur dans La Mutante 2 (1998), officier militaire dans Le Déshonneur d'Elisabeth Campbell (1999), juge dans La Neige tombait sur les cèdres (2000), directeur de prison dans La Ligne verte (id.), éminent scientifique dans I, Robot (2004) ou capitaine de police dans Spider-Man 3 (2007). C'est donc tout naturellement qu'Oliver Stone lui propose en 2008 de prêter ses traits à l'ancien chef d'Etat américain George Bush, Sr. dans son film réquisitoire W. - L'improbable Président.