Né au sein d'une famille italo-américaine, Joe Mantegna débute sa carrière d'acteur au théâtre en 1969, dans l'adaptation de Hair. Après avoir rejoint la compagnie Organic Theatre of Chicago, il fait ses débuts à Broadway dans la comédie musicale Working. Il fait alors la rencontre du scénariste et auteur David Mamet, qui lui confie un rôle dans sa pièce Glengarry Glen Ross (adaptée au cinéma en 1993). Il perce à la télévision en 1977, avec la série Soap, avant de tenir son premier rôle au cinéma dans Towing où il donne la réplique à Sue Lyon.

Acteur prolifique, éternel second couteau au cinéma, la carrière de Joe Mantegna est jalonnée de très nombreux rôle, parfois marquants. A l'instar du personnage véreux de Mike dans Engrenages, mis en scène par son ami David Mamet, qu'il retrouve trois ans plus tard sur le tournage de Homicide, dans lequel il campe cette fois-ci un inspecteur de la brigade criminelle enquêtant sur des meurtres au sein de la communauté juive américaine. En 1990, Francis Ford Coppola lui confie le rôle mémorable du mafieux psychotique Joey Zasa dans le troisième volet du Parrain, où il tente de renverser par la force et dans le sang Al Pacino. Il se fait acteur-producteur pour la première fois dans le buddy movie Jerry and Tom, où il incarne un vendeur de voiture le jour mais tueur à gage la nuit. Durant la décennie 1995-2005, il court le cachet, enchaînant quantité de rôles mineurs, tandis qu'il se consacre en parallèle au petit écran, en jouant les guest star ou le temps d"un caméo dans des séries le plus souvent inédites en France.

Joe Mantegna est aussi connu pour régulièrement prêter sa voix à "Fat Tony", un caïd de la pègre croqué sous la plume de Matt Groening, dans la série Les Simpson. Un personnage culte que l'on retrouve dans les premières aventures au cinéma de la plus délirante famille des Etats-Unis.