Joe Pantoliano débute sur scène en 1972 en incarnant Billy Bibbit dans la pièce Vol au-dessus d'un nid de coucou, avant de s'établir à Hollywood en 1976 et d'apparaître dans quelques séries télévisées comme Free country de Rob Reiner.

C'est néanmoins sur les planches de Los Angeles que l'acteur commence à se faire un nom, avec des rôles récompensés dans Orphans et Italian American Reconciliation, avant de débuter sur le grand écran en 1980 dans Le Temps du rock'n'roll, le premier long métrage de Taylor Hackford. Ami du débutant Tom Cruise dans Risky business en 1983, Joe Pantoliano poursuit avec Les Goonies en 1985 avant d'embarquer pour La Bamba deux ans plus tard et d'enchaîner sur L'Empire du soleil de Steven Spielberg.

Après Midnight run de Martin Brest en 1988, l'acteur connaît un léger passage à vide au début des années 1990, avant de revenir en 1993 avec son rôle d'assistant de Tommy Lee Jones dans la recherche du Fugitif. C'est désormais dans le cinéma d'action populaire que le comédien s'établit. Après un rôle non crédité dans Congo, il apparaît en commissaire dans Bad Boys de Michael Bay (1995), avant d'incarner une petite frappe manipulée dans Bound, le premier film d'Andy et Larry Wachowski.

Nouvelle collaboration avec Tommy Lee Jones à la poursuite cette fois de Wesley Snipes pour US Marshals (1998) avant de retrouver les frères Wachowski pour leur méga succès Matrix. Ami manipulateur de Guy Pearce dans l'indépendant Memento, succès surprise en 2000, Joe Pantoliano apparaît coup sur coup dans les blockbusters Daredevil et Bad boys 2 en 2003. 

En parallèle de ses prestations pour le grand écran, l'acteur incarne, durant les saison 3 et 4 des Soprano, un mafieux aussi ignoble que rusé, qui sera éliminé par Tony Soprano au terme d'une violente bagarre dans une cuisine. Il se glisse également dans la peau du personnage central de la série policière FBI: Opérations secrètes.

Au cinéma, Joe Pantoliano multiplie les seconds rôles dans des films la plupart du temps inconnus en France (voire aux Etats-Unis), comme Canvas, Falling Up, Deadly Impact, Blackout, Run or Die, The Perfect Match, Just Getting Started ou encore From the Vine. En 2020, il reprend son personnage du Capitaine Conrad Howard dans Bad Boys for Life, toujours aux côtés du duo de policiers campés par Will Smith et Martin Lawrence.