Issu d'un foyer modeste, James Coburn suit les cours de théâtre du City College de Los Angeles, avant de décrocher son premier rôle au cinéma en 1959 dans La Chevauchée de la vengeance, un western signé Budd Boetticher. L'année suivante, il interprète Britt, le lanceur de couteaux des Sept mercenaires (John Sturges-1960), aux côtés, entre autres, de Yul Brynner et Charles Bronson. Déjà très populaire, Don Siegel l'engage en 1962 pour jouer dans L'enfer est pour les heros, l'histoire d'une patrouille américaine encerclée au front par les Allemands durant la Seconde Guerre mondiale. Souvent à l'affiche de castings prestigieux, Coburn retrouve John Sturges sur La Grande évasion (1963), où il tente en compagnie de Steve McQueen et James Garner de s'échapper de la geôle allemande.

Loin de se cantonner à un seul style de film, Coburn s'essaie également à la comédie, d'abord avec la série des Flint, l'espion charmeur et éphémère rival de James Bond (Notre homme Flint, F comme Flint), puis en intégrant l'univers burlesque de Blake Edwards dans Qu'as-tu fait à la guerre Papa ? (1967). Il n'empêche, du fait de sa silhouette plutôt grande et virile, Coburn reste un grand habitué des westerns, tournant avec les plus illustres représentants de ce genre comme Sam Peckinpah (Major Dundee, Pat Garrett et Billy le Kid), Sergio Leone (Il etait une fois la revolution) ou encore Richard Brooks (La Chevauchée sauvage). Il tourne également dans de nombreux films de guerre comme La Bataille du Midway (Jack Smight-1976) et Croix de fer (Sam Peckinpah-1977).

Moins présent sur le grand écran au cours des années 1980, il fait un retour remarqué au cinéma en 1990 dans Young Guns 2, puis dans Hudson Hawk (1991), deux films dans lesquels il joue les méchants de service. Après avoir donné la réplique à Whoopi Goldberg dans Sister Act 2 (1993) et à Eddie Murphy dans Le Professeur Foldingue (1996), il remporte en 1998 l'Oscar du meilleur acteur pour son rôle de père de famille vieillissant, cruel et alcoolique dans Affliction de Paul Schrader. A 73 ans, il prête sa voix à l'un des personnages de Monstres & Cie, le film d'animation de David Silverman.