Natif du Bronx, Joe Viterelli passe d'un métier à l'autre - il dirige notamment une entreprise de nettoyage avant de perforer des boules de bowling... - mais décline les nombreuses propositions de cinéastes qui souhaitent faire de lui un comédien, jusqu'à ce qu'en 1990, Sean Penn insiste pour qu'il joue à ses côtés dans Les Anges de la nuit de Phil Joanou. Joe Viterelli y tient le rôle d'un Parrain issu du Lower East Side, quartier populaire de New York où lui-même à grandi.

Devenu acteur à 50 ans, il enchaîne les seconds rôles de maffieux, mais souvent dans un registre plus burlesque que réellement inquiétant. On se souvient de la trogne de cet acteur rondouillard dans les comédies Mafia blues I et II, dans lesquelles il interprète le bras droit de Robert De Niro, mais aussi Coups de feu sur Broadway de Woody Allen, ou encore Mickey les yeux bleus.

Second rôle attachant du cinéma américain, Viterelli, père du compositeur de musiques de film Joseph Vitarelli, disparait en 2004, à l'âge de 63 ans.