Fils de Robert W. Whaley Sr. et de Josephine, Frank Whaley est scolarisé au lycée Anthony A. Henninger de New York. Il obtient son diplôme de fin de cursus secondaire en 1981 et quitte le foyer familial la même année dans le but de devenir acteur. Jouant dans plusieurs pièces de théâtre, il multiplie parallèlement les castings pour le petit comme pour le grand écran. Ainsi, il commence par apparaître dans plusieurs téléfilms et épisodes de séries.

Frank trouve son premier rôle au cinéma en 1987 dans Ironweed : la force du destin, un drame où il interprète le personnage de Jack Nicholson jeune. Il poursuit en apparaissant plus ou moins furtivement dans le drame Né un 4 juillet, la comédie horrifique Little Monsters, la comédie Premiers pas dans la mafia et les biopic The Doors et Hoffa. Il tient même le rôle central de la comédie romantique Une place à prendre, avec Jennifer Connelly.

En 1994, Frank gagne en notoriété lorsqu'il est choisi par Quentin Tarantino pour jouer l'un des personnages de Pulp Fiction, qui devient rapidement un film culte. Il s'agit de Brett, un jeune homme qui a la mauvaise idée de voler Marsellus Wallace, lequel envoie alors ses tueurs à gages campés par John Travolta et Samuel L. Jackson pour l'exécuter lui et ses complices. Sa prestation donne lieu à une scène mémorable au sein d'un petit appartement.

Fort de ce succès, Frank Whaley marque l'année suivante en jouant le personnage principal de Swimming With Sharks, une plongée sans concession dans le milieu de la production hollywoodienne. Il y campe un jeune idéaliste se faisant martyriser par son patron, incarné par un Kevin Spacey en grande forme. Puis, enchaîne les second rôles dans divers genres : l'action (Broken Arrow), le western (The Desperate Trail), la comédie (Les Flambeurs), etc.

A partir des années 2000, ce visage connu du cinéma américain est davantage présent côté télévision, multipliant les prestations avec une cadence impressionnante dans de nombreuses séries. On le voit ainsi dans Dead zone, Blue bloods, Madoff, Empire, Luke Cage, Interrogation ou encore The Equalizer pour ne citer qu'elles. A noter sa prestation savoureuse, en 2013, dans Ray Donovan, où il joue un policier se croyant plus malin que Jon Voight.

Frank Whaley n'en oublie toutefois pas complètement le cinéma, apparaissant dans Rock Academy, World Trade Center, Motel (dans lequel il campe l'inquiétant méchant face à Kate Beckinsale et Luke Wilson), The Cell 2, Rob the Mob, The Outcasts, Monster Cars, Queens, Death on the Border et Saint Clare.