Joe Pesci débute sa carrière d'acteur dès son plus jeune âge, en apparaissant au milieu des années 50 dans la série télévisée "Star Time Kids". Il abandonne rapidement les études pour tenter une carrière de chanteur de bars, et devient même guitariste pour un groupe, les Joe Dee & the Starliters. En 1961, il fait ses premiers pas sur grand écran, en tenant un rôle non crédité dans Hey, Let's Twist. Expérience sans lendemain pour lui, puisqu'il lui faut attendre quinze années avant de retrouver les caméras pour The Death collector.

La chance lui sourit néanmoins puisque sa prestation a été remarquée par Robert De Niro et Martin Scorsese, qui le contacte pour tenir le rôle du frère de Jake La Motta dans Raging Bull: une performance saluée par une citation à l'Oscar du Meilleur second rôle. Après un détour en 1984 chez Sergio Leone pour l'immense fresque d'Il était une fois en Amérique, il offre un contrepoint comique au duo Mel Gibson / Danny Glover avec le personnage de Leo Getz, dans le second volet de la franchise L'Arme fatale. Un personnage qu'il retrouvera à deux reprises en 1992 et 1998, toujours sous la houlette de Richard Donner. En 1990, Martin Scorsese fait de nouveau appel à lui pour Les Affranchis, une saga du crime dans lequel il incarne le gangster psychopathe Tommy DeVito, qui profite de la moindre étincelle pour déclencher un carnage. Unanimement saluée par le public et la critique, sa brillante performance est récompensée par l'Oscar du Meilleur second rôle. Un univers auquel il est décidemment habitué, puisque le réalisateur lui offre en 1995 le rôle du névrotique Nicky Santoro dans le flamboyant Casino, où il joue le bras droit de Robert De Niro et succombe à la vénale Sharon Stone.

Sans doute las des rôles de mafieux auquel les producteurs l'ont souvent cantonné, Joe Pesci s'est surtout imposé dans les années 1990 dans le registre de la comédie, avec plus ou moins de succès. Gangster raté et pathétique dans Maman, j'ai raté l'avion et sa suite, il fait un bref détour par le thriller politique avec JFK, avant d'incarner un avocat désopilant dans la comédie Mon Cousin Vinny. Mais en dépit de quelques rôles mineurs, dont une brève apparition dans Il était une fois le Bronx, la première réalisation de son vieux complice Robert De Niro, l'acteur se fait rare.

Il ne revient sur les écrans que ponctuellement : en 2007, Raisons d'Etat marque son retour après huit ans d'absence du grand écran, puis et Love Ranch de Taylor Hackford en 2010, avant de retrouver Martin Scorsese et le milieu mafieux pour The Irishman (2019), dans lequel il incarne le parrain Russell Bufalino au côté de Robert De Niro et d'Al Pacino.

Quatre ans plus tard, il revient pour un petit rôle dans Day of the Fight (2023), un film de boxe dans lequel il interprète le père du héros joué par Michael C. Pitt.