James Russo est né en 1953 à New York. Il poursuit des études à la New York University avant de démarrer une carrière de comédien qui l'amènera à jouer dans plus de 90 films en une trentaine d'années.

James fait ses premiers pas au cinéma en 1982 dans la peau d'une petite frappe dans Ça chauffe au lycée Ridgemont avec Sean Penn. Son physique puissant et son regard perçant aident Russo à décrocher des rôles de méchants, gangsters ou autres psychopathes. C'est lui qui incarne notamment le criminel Bugsy, qui prend sous son aile Noodles et sa bande dans Il était une fois en Amérique de Sergio Leone (1984).

En 1986, Russo terrorise Farrah Fawcett dans Extremities. Avant cela, il se glisse dans la peau de Mikey Tandino, le petit escroc pote d'Axel Foley dans Le Flic de Beverly Hills (celui qui se fait descendre au début du film, amenant Foley alias Eddie Murphy à enquêter à Los Angeles). James apparaît également dans Cotton Club de Francis Ford Coppola.

L'acteur connaît une prolifique carrière par la suite, tournant notamment dans Nous ne sommes pas des anges (1989) aux côtés de Robert De Niro et Sean Penn, My Own Private Idaho de Gus Van Sant ou Snake Eyes sous la direction d'Abel Ferrara (1993). Les années 90 sont également marquées par des rôles dans Postman de Kevin Costner, Donnie Brasco ou La Neuvième Porte de Roman Polanski.

Les années 2000 sont aussi fructueuses pour le comédien qui tourne à nouveau avec Kevin Costner dans Open Range (2003), la série Les Experts ou Public Enemies (2009) de Michael Mann dans lequel il incarne le criminel Walter Dietrich. En 2012, Quentin Tarantino fait appel pour incarner le détestable esclavagiste Dicky Speck dans Django Unchained, celui qui se fait écraser sous le poids de son cheval lors de la scène d'ouverture du film. Trois ans plus tard, Russo tourne une nouvelle fois avec Johnny Depp pour Strictly Criminal dans lequel il campe l'agent du FBI Scott Garriola.

Le comédien a tourné récemment dans la série Chicago Fire et donné la réplique à Steven Seagal dans Code of Honor. Il a également écrit le film L'instinct de tuer de David Grovic avec Robert De Niro et John Cusack.