Né dans une famille modeste, Roy Scheider s'intéresse très jeune au théâtre. Son premier rôle sur les planches est celui de Mercutio dans Roméo et Juliette, en 1961. Il fera ensuite partie de trois troupes de théâtres : La Lincoln Center Repertory Company, le Boston Arts Festival et l'Arena Stage de Washington. Après une première expérience peu concluante dans un film d'horreur à petit budget, Roy Scheider retourne au théâtre. C'est en 1968 qu'il commence à apparaître au cinéma, dans des petits rôles au départ.

Son rôle de co-équipier de Gene Hackman dans French Connection de William Friedkin en 1971 le fait connaître du grand public et lui vaut une nomination à l'Oscar du Meilleur Second Rôle masculin. Il est ensuite la tête d'affiche de Police puissance 7 mais le véritable succès vient avec Les Dents de la mer, de Steven Spielberg, dans lequel il campe Martin Brody, le chef de la police d'Amity, qui neutralise le requin malgré sa peur de l'eau. Grâce à ce film, Roy Scheider devient une véritable star. Il reprendra le rôle de Brody dans la suite réalisée en 1978 par Jeannot Szwarc.

Roy Scheider enchaîne ensuite les rôles dans les grandes productions : il joue dans Marathon man aux côtés de Dustin Hoffman et retrouve William Friedkin pour le remake du Salaire de la peur. Il change ensuite de registre avec Que le spectacle commence! de Bob Fosse, dans lequel il interpréte un chorégraphe et cinéaste : ce film lui vaut une nomination à l'Oscar du Meilleur acteur. Roy Scheider est alors recherché par des réalisateurs très populaires : David Cronenberg le fait jouer dans Le Festin nu, John Frankenheimer dans Paiement cash, Francis Ford Coppola dans L'Idéaliste...

Commandant de la série SeaQuest, police des mers, produite par Steven Spielberg, au milieu des années 90, Roy Scheider apparaît dans diverses productions mineurs avant de revenir au cinéma en juin 2004 avec The Punisher de Jonathan Hensleigh. Il enchaîne ensuite avec divers direct-to-video, dont Iron Cross, son dernier film.