Issu d'une famille d'enseignants, James Spader étudie à l'école préparatoire Phillips à Andover. Il quitte cet établissement pour entrer à l'école d'art dramatique Michael Chekhov à New York. L'acteur vit ensuite de petits boulots avant de décrocher son premier rôle au cinéma en 1978 dans la comédie Team-mates de Steven Jacobson.

En 1981, Spader obtient un second rôle dans un drame romantique de Franco Zeffirelli, Un amour infini. Ce film marque aussi les débuts de Tom Cruise. James revient ensuite à la comédie avec Rose bonbon (1986, John Hughes) et Baby Boom (1987, Charles Shyer), films dans lesquels il interprète un jeune loup ambitieux et arriviste. Il retrouve ce genre de rôle à plusieurs reprises et notamment dans des films inquiétants tels que Bad influence (1990, Curtis Hanson) et Wolf (1994, Mike Nichols). Dans cette histoire de loups-garous, Spader y donne la réplique à Jack Nicholson et Michelle Pfeiffer.

En 1989, James Spader accède à une plus grande notoriété et à une reconnaissance critique grâce à Sexe, mensonges et vidéo, premier long métrage de Steven Soderbergh. Il y incarne un voyeur qui vient semer le trouble chez une épouse bourgeoise et trompée. Ce rôle lui vaut le prix d'interprétation masculine au Festival de Cannes. Le film obtient également la Palme d'or. James Spader poursuit dans le registre du sulfureux avec deux adaptations de romans : après La Fièvre d'aimer (1990, Luis Mandoki) vient le très controversé Crash (1996, David Cronenberg).

Acteur à la filmographie éclectique, il semble aussi à l'aise dans le satirique Bob Roberts (1992, Tim Robbins) que dans la superproduction Stargate, la porte des étoiles (1994, Roland Emmerich). James y campe le Docteur Daniel Jackson, le scientifique qui résout l'énigme de la Porte des étoiles. Puis il traque un Keanu Reeves maléfique et joueur dans le thriller The Watcher (2000, Joe Charbanic) avant d'interpréter un patron sadique dans La Secrétaire de Steven Shainberg.

La carrière de James Spader prend ensuite un tournant télévisuel. En effet, le comédien campe le personnage d'Alan Shore dans la saison 8 de The Practice en 2003. L'acteur aura droit après cette expérience à sa propre série dérivée, Boston Justice, qui l'occupe 5 saisons durant entre 2003 et 2008. James revient ensuite au cinéma pour Robert Rodriguez en tournant dans la comédie d'aventures Shorts en 2009. Il donne la réplique à William H. Macy et Jon Cryer.

Les 2 années suivantes, James Spader retourne dans la petite lucarne en incarnant Robert California dans la série comique créée par Ricky Gervais, The Office. En 2012, Steven Spielberg fait appel à lui pour incarner W.N. Bilbo dans le film historique Lincoln.