Vincent Schiavelli est issu d'une famille originaire de Polizzi Generosa, un village sicilien où il a ces dernières années fixé sa résidence principale avec sa compagne, l'actrice Katia Vitale. Il doit sa première apparition au cinéma au réalisateur Milos Forman, qui l'engage sur le tournage de Taking off en 1971. Les deux hommes ne se quitteront plus, collaborant sur Vol au-dessus d'un nid de coucou (1975), Amadeus (1984), Valmont (1989), Larry Flynt (1997) et Man on the Moon (2000).

Le comédien balade également son physique de géant (près de deux mètres) dans des films fantastiques comme Blade runner (1982) de Ridley Scott et Batman, le défi (1991) de Tim Burton, et s'illustre en tueur à gages benêt dans le "bondien" Demain ne meurt jamais (1997). Il ne s'est jamais vu confier de grands rôles, mais chacune de ses apparitions à l'écran reste marquante, comme dans Ghost, où il incarne face à Patrick Swayze un fantôme inquiétant dans le métro new-yorkais.

Très présent sur le petit écran depuis la série The Corner bar (1972), où il incarnait l'un des premiers personnages gay de la télévision américaine, il multiplie les petits rôles dans des feuilletons aussi divers que Starsky et Hutch, Deux flics à Miami et Buffy contre les vampires. Sa dernière apparition au cinéma remonte au drame italien Miracle à Palerme, sorti en France le 19 octobre 2005.