Désireux de faire carrière dans le football américain, John Goodman entame des études à la Missouri State University, mais une blessure au genou vient contrarier cette vocation. Il choisit alors de se tourner vers le théâtre et entre au département d'art dramatique de l'université, où il côtoie entre autres Kathleen Turner ou Tess Harper. En 1975, il déménage à New York, et après un premier emploi en tant que videur, il accumule les prestations théâtrales, notamment des productions off à Broadway.

Après des petits rôles dans des séries B tels que C.H.U.D. de Douglas Cheek (1984), il tourne dans des films plus importants comme The Big Easy (de Jim McBride, 1986) ou Arizona Junior, le second film de Ethan et Joel Coen (1987), avec qui il collaborera à quatre reprises (Barton Fink en 1991, Le Grand Saut en 1994, The Big Lebowski en 1998 et O'Brother en 2000).

C'est cependant en 1988 qu'il devient définitivement populaire grâce à son rôle de Dan Conner, mari de Roseanne dans la série du même nom. Un an plus tard, il épouse Annabeth Hartzog, avec qui il aura une fille, Molly. Abonné aux seconds rôles, il se montre aussi à l'aise dans le polar (Mélodie pour un meurtre d'Harold Becker, 1989), la comédie (Panic sur Florida Beach, 1993), et même le film musical tel Blues Brothers 2000 (de John Landis, 2000).

Connu pour ses rôles de "types sympas" (La Famille Pierrafeu), John Goodman aime également prêter sa voix aux productions Walt Disney : Kuzco, l'empereur mégalo (2001) et sa suite, Monstres & Cie (2002), Cars (2006) ou encore La Princesse et la grenouille (2009). Tout en continuant de tourner sous la direction de maîtres du cinéma (comme Martin Scorsese dans A tombeau ouvert), il revient à la télévision en 2007 pour quelques épisodes d'À la Maison blanche.

Enchaînant les seconds rôles dans des registres variés, John Goodman incarne le père de Speed Racer, un gangster particulièrement menaçant dans l'envoûtant Dans la brume électrique, un producteur à l'ancienne dans Argo ou encore le méchant de Very Bad Trip 3. Parallèlement, l'acteur est aussi très actif à la télévision comme en témoignent ses participations aux séries Treme, Damages et Community.

Tournant avec de grands réalisateurs comme Clint Eastwood, Robert Zemeckis, les frères Coen et George Clooney, Goodman campe un personnage central dans le huis clos de SF 10 Cloverfield Lane, l'énigmatique et inquiétant Howard. Alternant sans cesse petit et grand écran, l'acteur obtient le rôle principal de la série comique Alpha House et continue de doubler des personnages de productions cinématographiques (Bunyan and Babe, Transformers: The Last Knight et Valérian et la Cité des Mille Planètes).

John Goodman entame l'année 2017 en étant un commissaire de police confronté aux attentats de Boston dans le film de Peter Berg puis en rejoignant la distribution du blockbuster Kong: Skull Island. Il reprendra d'ailleurs son rôle pour 2 épisodes de la série Monarch: Legacy of Monsters, située dans le même univers que celui du gorille géant.

En 2018, il rejoint deux séries comiques, The Conners, suite de Roseanne, et The Righteous Gemstones, dans laquelle il incarne le patriarche d'une famille d'évangélistes très portée sur l'argent de 2019 à 2025.