Après des débuts remarqués sur les planches new-yorkaises, John Heard fait ses débuts à la télévision puis au cinéma à la fin des années 70, obtenant son premier "premier rôle" dans On the Yard (1978). Il donne ensuite la réplique à Nick Nolte et Sissy Spacek dans Heart Beat où il campe le poète Jack Kerouac (1980), à Jeff Bridges dans Cutter's Way (1981), Nastassja Kinski dans La Féline (1982), Donald Sutherland dans Heaven Help Us (1985), Demi Moore dans La Septième prophétie (1988), Tom Hanks dans Big (1988), Bette Midler dans Au fil de la vie (1988), Gene Hackman et Tommy Lee Jones dans Opération crépuscule (1989) ou encore Robert De Niro et Robin Williams dans L'Eveil (1990).

Dirigé par Martin Scorsese (After Hours, 1985), Robert Redford (Milagro, 1988) ou Costa-Gavras (La main droite du diable, 1988), John Heard connaît son plus grand succès public aux côtés de Macaulay Culkin et Catherine O'Hara dans Maman j'ai raté l'avion : avec près de 500 millions de dollars de recettes mondiales en 1990, le long métrage sera suivi par une suite deux ans plus tard, dans laquelle la famille au complet, John Heard en tête, reprennent leurs rôles respectifs.

La suite de sa carrière cinématographique sera moins marquante, malgré quelques films notables comme L'Affaire Pélican (1993), Dans la ligne de mire (1993), 187: code meurtre (1997) ou Snake Eyes (1998). John Heard s'illustre en revanche dans de nombreuses séries, en guest ou en régulier : citons notamment The Client adapté de John Grisham, Les experts: Miami, Battlestar Galactica, Prison Break dans le rôle du père de Sarah Wayne Callies, NCIS: Los Angeles, et plus récemment des épisodes de MacGyver et Outsiders. Sans oublier Les Soprano où son interprétation de Vin Makazian lui permettra de décrocher une nomination aux Emmy Awards en 1999, la seule citation majeure de sa carrière.

Les amateurs des requins volants SyFy ont également pu le voir dans le premier opus de Sharknado en 2013.