Né dans une famille de comédiens (son père est l'acteur Walter Huston), il fait ses premiers pas sur scène à l'âge de 3 ans et entame même une carrière d'acteur à Broadway en 1925, qu'il abandonne pour s'engager dans la Cavalerie. En 1928, il écrit sa première pièce Frankie et Johnny, et obtient avec l'aide de son père un contrat de scénariste chez Universal en 1932. Il participe à l'écriture de trois films (dont Double Assassinat dans la rue Morgue de Robert Florey en 1932) avant de tout quitter pour l'Europe où il reste plusieurs mois. A son retour il se cherche encore, participe à l'édition d'un magazine et reprend même la comédie.

En 1938, il décide de se fixer et signe un nouveau contrat de scénariste aux studios de la Warner Bros. Il participe notamment à L'Insoumise (1938) et La Grande évasion (1941, qui révèle Humphrey Bogart). Il fait alors pression sur le studio pour pouvoir diriger son propre film et hérite du roman Le Faucon maltais, déjà adapté deux fois à l'écran. Le film fut un succés surprise.

En 1943, il devient correspondant de guerre et réalise trois documentaires, parmi les plus réussis du genre. A son retour, il adapte Le Trésor de la Sierra Madre pour lequel il engage à nouveau Humphrey Bogart et son père. Le film, sorti en 1948, fit gagner à John et Walter Huston, les seuls Oscars de leur carrière : ceux du meilleur scénario et de la meilleure réalisation pour le fils, et celui du meilleur second rôle pour le père. Il réalise ensuite trois films, dont Key Largo (1948) encore avec son acteur fétiche, Humphrey Bogart.

Il déménage ensuite pour la M.G.M. où il se voit confier la direction de Quo Vadis?. Mais il n'a aucun enthousiasme pour le projet, et convainc Louis B. Mayer de le laisser travailler sur Quand la ville dort (1950), dont il est également scénariste et producteur. Par la suite, La Charge victorieuse (1951) est un échec, mais John Huston retrouve à la fois un succès public et critique avec African Queen (1952), toujours avec Humphrey Bogart. Il réalise ensuite des films aussi différents que Moulin Rouge (1952), Moby Dick (1956) et Dieu seul le sait (1957). L'aura du réalisateur décline ensuite jusqu'au début des années 70. Seul Les Désaxés (1961) rappelle ses premiers films, mais le film fut reconnu sur le tard.

Il retrouve le succés avec L'Homme qui voulut être roi (1975), qui lui vaut aussi d'être nominé à l'Oscar du meilleur scénario. Mais Phobia (1980), A nous la victoire (1981) et Annie (1982) sont de cuisants échecs et de plus, la santé du réalisateur s'affaiblit. Il rebondit pourtant, et revient au plus haut avec Au-dessous du volcan (1984), L'Honneur des Prizzi (1985, qui lui vaut sa dernière nomination aux Oscars dans la catégorie meilleur réalisateur et l'Oscar du meilleur second rôle à sa fille, Anjelica Huston) et enfin Les Gens de Dublin (1987), son dernier film.