Billy Crystal commence sa carrière d'acteur dans des séries télévisées, et adopte rapidement sa spécialité : les rôles comiques. Avec Soap (1977-1981), il acquiert une certaine renommée et décroche son premier rôle au cinéma dans Rabbit Test de Joan Rivers (1978).

Grâce au show Saturday Night Live (1984-1985), l'acteur devient une véritable star. Il enchaîne les films parodiques, passant du faux documentaire rock avec Spinal Tap (Rob Reiner, 1984) à l'action avec Deux flics à Chicago (Peter Hyams, 1986), son premier rôle principal. La comédie romantique de Rob Reiner, Quand Harry rencontre Sally, le révèle au grand public.

Billy Crystal diversifie alors ses activités, passant réalisateur avec Mr. Saturday Night (1992), alors qu'il avait déjà été scénariste et producteur pour Drôles de Confidences de Henry Winkler. Sa notoriété lui permet de tourner avec Woody Allen dans Harry dans tous ses états (1998) et aux côtés de Robert De Niro dans Mafia Blues de Harold Ramis en 1999. Depuis, il cumule les gros titres avec Couple de stars de Joe Roth en 2001 et Monstres & Cie de David Silverman & Pete Docter, en 2002. L'année suivante, Billy Crystal est à l'affiche de Mafia blues 2 - la rechute, dans lequel il repend son rôle de psychiatre.

Passionné de théâtre et de baseball, l’acteur se fait ensuite beaucoup plus rare au cinéma. Après la suite de Mafia Blues, il prête sa voix pour Le Château ambulant en 2004 et l'incontournable Cars de Pixar en 2006. L’année 2010 marque son retour au cinéma, toujours dans le genre comique, avec Tooth Fairy, dans lequel il s’affiche aux côtés de Dwayne Johnson, alias The Rock.