John Pankow étudie l'art dramatique au lycée puis à la Northeastern Illinois University, lieu où il s'initie au théâtre. Après avoir quitté les bancs de l'université pour jouer dans la pièce de David Mamet The American Buffalo, au théâtre Saint Nicholas de Chicago, il s'illustre à Broadway dans de nombreuses productions comme Scheherazade ou Aristocrats.

Après avoir décroché un rôle de figurant dans Les Prédateurs de Tony Scott, John Pankow obtient en 1985 l'un des rôles principaux de Police féderale Los Angeles, réalisé par William Friedkin. En 1987, il joue au côté de Michael J. Fox dans Le Secret de mon succès puis apparaît à l'affiche de Talk Radio d'Oliver Stone et de Pensées mortelles, au côté de Bruce Willis.

En 1991, John Pankow tient, avec Sharon Stone, l'un des premiers rôles de Year of the gun de John Frankenheimer. A partir de 1993, il fait une parenthèse dans sa carrière cinématographique et s'impose durant six ans comme un personnage récurrent de la série télévisée Mad about you, portée par Paul Reiser et Helen Hunt. En 1998, il revient timidement au cinéma avec un petit rôle dans L' Objet de mon affection de Nicholas Hytner puis retrouve les devant de l'affiche en 2001 avec Une maison sur l'océan d'Irwin Winkler, où il côtoie Kevin Kline et Kristin Scott Thomas.