Fils d'un militaire et d'une institutrice, le jeune Woods passe la majeure partie de son enfance sur les routes avant de s'installer à Warwich, Long Island. Il se découvre à l'école une passion pour le théâtre. Etudiant brillant, il décroche une bourse au prestigieux Massachusetts Institute of Technology ; major de sa promo en sciences politiques, il joue déjà en parallèle dans 36 pièces de théâtre avant de finalement partir tenter sa chance à New York. Très vite, James Woods se fait remarquer ; il reçoit même un Obie Award et le Clarence Derwen Award de l'acteur le plus prometteur pour sa prestation dans Saved de Alan Schneider.

En 1972, l'acteur entre par la grande porte dans le monde du cinéma. Il est dirigé par Elia Kazan dans Les Visiteurs, et joue deux ans plus tard dans Nos plus belles années de Sydney Pollack. En 1977, sa performance dans Bande de flics aux côtés de Robert Aldrich inaugure une longue série de rôles de méchants. Grâce à la série Holocauste puis le film Tueur de flics de Harold Becker, il acquiert à l'aube des années 1980 une reconnaissance auprès du public.

L'année 1984 marque cependant un véritable tournant grâce à deux rôles qui ont marqué des générations de cinéphiles : d'abord détective privé dans Videodrome de David Cronenberg, il devient un gangster sans scrupule dans Il était une fois en Amérique de Sergio Leone. La véritable consécration par ses pairs arrive quant à elle en 1986, lorsque l'acteur est nommé pour l'Oscar du meilleur acteur pour sa performance dans Salvador d'Oliver Stone, qu'il retrouve à deux reprises en 1995 pour Nixon et en 2000 pour L'Enfer du dimanche.

James Woods travaille ensuite avec les plus grands dont Richard Attenborough en 1993 (Chaplin), Martin Scorsese en 1995 (Casino), John Carpenter en 1997 (Vampires). Boulimique de travail, il goûte à l'éclectisme et multiplie rôles et films très divers : qu'ils soient intimistes (The Virgin Suicides de Sofia Coppola, Northfork de Michael Polish), pour des amis (Jugé Coupable de Clint Eastwood, Another Day in Paradise de Larry Clarke ou John Q de Nick Cassavetes), ou des films de divertissement à plus gros budget (L'Expert, Contact, Scary Movie 2, Be Cool). Le comédien s'essaie même au doublage de films d'animation avec succès : Hercule, Les Rois de la glisse, etc.

Côté petit écran, après de nombreux téléfilms (My Name is Bill W., Citizen Cohn), James Wood connaît son premier rôle marquant en 2006, dans la peau d'un avocat cynique et intransigeant pour la série Shark. En 2011, sa prestation de PDG de Lehman Brothers dans Too Big to Fail lui vaut même plusieurs nominations. Toutefois, ses apparitions au cinéma se raréfient et deviennent moins marquantes, l'acteur se contentant de seconds rôles, comme avec Chiens de paille (2012), White House Down (2013) ou encore Jobs (id.), biopic sur le fondateur d'Apple porté par Ashton Kutcher. L'acteur campe néanmoins un personnage marquant dans la première saison de la série Ray Donovan portée par Liev Schreiber : un gangster sans pitié figurant sur la liste des 10 personnes les plus recherchées du FBI.