Après avoir passé sa jeunesse dans le Queens à New York, James Caan intègre la Michigan State University à l'âge de seize ans pour y étudier l'économie et jouer au football américain. Il s'oriente ensuite vers une formation juridique à la Hofstra University, mais une audition lui permet d'entrer au Neigborhood Playhouse de Sanford Meisner. Il obtient par la suite une bourse pour étudier avec Wynn Handman, célèbre professeur d'art dramatique, et décroche les quatre premiers rôles pour lesquels il est auditionné.

James Caan débute sur scène en 1961 dans "La Ronde" puis joue à Broadway "Mandingo" et "Blood, sweat and Stanley Poole". Après plusieurs apparitions dans des séries télé (Naked City, Les Incorruptibles, etc.), il apparaît pour la première fois au cinéma dans Irma la Douce (1963) de Billy Wilder et après un passage remarqué dans deux longs métrages de Howard Hawks (Ligne rouge 7000 (1965) et El Dorado (1967) aux côtés de John Wayne), il se retrouve en tête d'affiche des Gens de la pluie (1969) de Francis Ford Coppola.

Après sa brillante prestation de footballeur trépané, il tourne à nouveau sous la direction de Coppola dans Le Parrain, où dans le rôle du brutal Sonny Corleone il forme un étonnant contraste avec l'autre fils, plus intellectuel, interprété par Al Pacino. Cette fresque familiale l'impose à Hollywood et lui permet d'être nommé en 1972 à l'Oscar du Meilleur second rôle masculin. Désormais acteur de tout premier plan, il incarne un professeur d'université en proie au démon du jeu dans Le Flambeur (1974) et donne la réplique à Barbra Streisand dans la comédie musicale Funny Lady (1975) de Herbert Ross.

En 1975, son passé de grand sportif permet à James Caan d'endosser des rôles particulièrement physiques : il effectue ses propres cascades dans le futuriste et violent Rollerball de Norman Jewison et pratique les arts martiaux pour les besoins de Tueur d'élite, film d'espionnage de Sam Peckinpah. L'année d'après, il rejoint le prestigieux casting d'Un pont trop loin (1977) et se fait diriger par Claude Lelouch dans Un autre homme, une autre chance (id.), mélange de romance et de western avec pour toile de fond les Etats-Unis des années 1870. Les deux hommes collaboreront à nouveau ensemble sur Les Uns et les autres en 1981.

En 1980, James Caan se met pour la première et unique fois en scène dans L' Impossible témoin qui s'avère être un échec commercial. Malgré tout, il poursuit sa carrière cinématographique en jouant les as de la cambriole dans Le Solitaire (1981) de Michael Mann. Après une absence de cinq ans à l'écran, il retrouve le réalisateur qui l'a révélé internationalement, Francis Ford Coppola, pour les besoins de Jardins de pierre (1987), un drame militaire ayant pour cadre la guerre du Vietnam. Il enchaîne avec le tournage de Futur immédiat Los Angeles 1991 (1988), où il incarne un officier de police collaborant avec un extraterrestre, puis interprète le gangster Spaldoni face à Warren Beatty dans la comédie policière Dick Tracy (1990).

Dans les années 90, James Caan se montre plus prolifique : il est tour à tour l'écrivain Paul Sheldon retenu prisonnier par Kathy Bates dans Misery (1990), l'adaptation cinématographique du roman de Stephen King, la grande vedette de music-hall Eddie Sparks dans For the boys (1991), le père meurtrier de Dennis Quaid dans Flesh and bone (1993) ou encore le mentor et adversaire d'Arnold Schwarzenegger dans L'Effaceur (1996).

L'acteur aux larges épaules fait également preuve d'un charisme remarquable lorsqu'il s'agit d'interpréter un employeur peu recommandable dans The Yards (2000) ou un homme de main chargé des basses besognes dans Way of the gun (id.). Ces rôles plutôt graves ne l'empêchent toutefois pas de jouer dans des films plus légers comme Mickey les yeux bleus (1999), où il s'autoparodie en parrain mafieux, et Elfe (2003), où il se glisse dans la peau d'un sinistre éditeur père d'un drôle d'individu (Will Ferrell) élevé chez des lutins.

En 2003, James Caan délaisse le cinéma et effectue un retour aux sources en tournant pour le petit écran. En plus d'apparaître dans de nombreux téléfilms pour la télévision américaine, il interprète le personnage d’Ed Deline, chef de la sécurité d’un grand casino, dans la série Las Vegas, et s'illustre également dans la saison 2 de Magic City.

Il revient sur grand écran en 2008 en incarnant le Président des Etats-Unis aux côtés de Steve Carell dans Max la menace, ainsi qu'en intégrant le casting pailleté de New York, I Love You, emmené notamment par Natalie Portman, Bradley Cooper ou encore Orlando Bloom. L'année suivante, le comédien s'essaye à nouveau au doublage d'un film d'animation pour Tempête de boulettes géantes, avant de retrouver le chemin des plateaux en 2012 pour Detachment, "film social" sous la direction de Tony Kaye.

Sur la fin de sa carrière, entre plusieurs productions mineures, James Caan collabore à deux reprises avec des cinéastes français : Guillaume Canet pour son polar Blood Ties (2013), et Amanda Sthers sur le drame Les Terres Saintes (2019). Il devait apparaître dans le projet Megalopolis de Francis Ford Coppola,  porté par le cinéaste américain depuis de nombreuses années.