Après avoir obtenu son diplôme en 1966 à l’Université de Harvard, James Toback entame une carrière de journaliste et donne des cours de littérature comparée et d’écriture créative au "City College of New York" (CCNY). En 1971, il publie la biographie de son ami footballeur et acteur américain Jim Brown, puis commence à s'intéresser à l'écriture de scénarios. Souffrant d’une forte addiction compulsive au jeu, il s’inspire de son expérience personnelle pour écrire son premier scénario réalisé par Karel Reisz : Le Flambeur (1974). Le film lance la carrière de Toback et connaît un grand succès au point que près de quarante ans après sa réalisation, la descente aux enfers d’Alex Freed, le personnage principal du film, intéresse Martin Scorsese qui envisage d’en faire un remake homonyme.

En 1978, le scénariste se place derrière la caméra et réalise Mélodie pour un tueur, un film policier avec Harvey Keitel en tête d’affiche. Son film est adapté en 2005 par Jacques Audiard qui lui donne le titre De battre, mon cœur s'est arrêté. Le scénariste-réalisateur continue sur sa lancée et se met à produire ses films comme Les armes du pouvoir (1982) et Surexposé (1983) avec lequel il commence sa carrière d'acteur. James Toback joue dans ses propres films mais apparaît également dans ceux des autres, comme Alice de Woody Allen (1991) ou Bugsy de Barry Levinson (1992), qui lui vaut l'Oscar du Meilleur scénario original.

Après une première collaboration très réussie avec Robert Downey Jr. dans The Pick-Up Artist (1987), le réalisateur renouvelle l'expérience et lui offre deux autres premiers rôles : dans Two Girls and a Guy (1997) et Black and White (2000), présenté au Festival de Deauville 2005. Après avoir écrit et mis en scène l'halluciné Harvard story (2001), il rédige le scénario de Beyond the Sea (2004) pour Kevin Spacey, un biopic qui reprend la vie du musicien américain Bobby Darin. Quatre ans plus tard, le réalisateur témoigne à nouveau de son engouement pour les parcours de personnalités atypiques avec son documentaire Tyson, qui réussit à obtenir un prix spécial intitulé "Un Certain Regard - Prix KO" au Festival de Cannes 2008.