James Handy avait commencé sa carrière en 1977 avec la série Ryan's Hope, avant de tourner dans son premier long métrage de cinéma, Taps de Harold Becker (1981), dans lequel il incarnait le rôle du shérif. Il enchainera avec Le Verdict de Sidney Lumet, avec Paul Newman et Charlotte Rampling, avant de se tourner vers la télévision.

Après un rôle dans Bird de Clint Eastwood (1988), puis dans Chien de flic avec James Belushi (1989), Arachnophobie (1990) et Rocketeer (1991), on le retrouve dans Un ange gardien pour Tess (1994) et Flics sans scrupule (1997), et sur le petit écran dans Melrose Place, Walker Texas Ranger et X-Files, où il interprète l'inspecteur Alan Cross.

Début 2000, il enchaîne le rôle d'un prêtre dans Incassable de M. Night Shyamalan, puis celui d'un chef adjoint de police dans 15 minutes de John Herzfeld. Après un petit rôle dans Alias entre 2002 et 2006, il joue les guests dans Esprits criminels, Castle, Les Experts : Manhattan et Rizzoli & Isles. Le cinéma refait appel à lui pour le film de super-héros crépusculaire Logan, et il incarne le maire de la ville de Suburbicon pour George Clooney.

En 2022, il signe ce qui restera sa dernière apparition à l'écran : une présence éclair dans Top Gun : Maverick, dans le rôle d'un barman.