Fils d'émigrés siciliens, Ben Gazzara grandit à New York et se destine à une carrière d'ingénieur. Après avoir vu La Ménagerie de verre, il décide de devenir acteur et entre en 1951 à l'Actor Studio où ses condisciples se nomment Paul Newman, James Dean ou Steve McQueen, et fait ses débuts sur les planches dans la première représentation de La Chatte sur un Toit Brûlant, de Tennessee Williams. En 1959, Otto Preminger lui offre le rôle d'un officer antipathique accusé de viol dans Autopsie d'un meurtre, rôle qui le révèle au public.

Après un détour par l'Italie, où il donne la réplique à Anna Magnani dans Larmes de joie, Ben Gazzara remporte un énrome succès grâce à la série Sauve qui peut, dans laquelle il incarne un avocat atteint d'une maladie incurable qui décide de profiter de la vie avant de mourir. Très lié à John Cassavetes, l'un des pionniers du cinéma indépendant américain, il tourne sous sa direction à trois reprises : pour Husbands (1970), Meurtre d'un bookmaker chinois (1976) et Opening Night (1977), dans lequel il joue aux côtés de Gena Rowlands, qu'il retrouvera trente ans plus tard à l'occasion du film collectif Paris je t'aime, dans un segment écrit par celle-ci et mis en scène par Gérard Depardieu et Frédéric Auburtin.

L'acteur travaille ensuite avec un autre représentant du cinéma indépendant, Peter Bogdanovich : il joue en 1979 dans son Jack le magnifique puis en 1981 dans Et tout le monde riait, aux côtés d'Audrey Hepburn, à qui il avait précédemment donné la réplique dans Liés par le sang. Ben Gazzara part ensuite en Italie où il tombe amoureux d'Ornella Muti à deux reprises : tout d'abord dans Conte de la folie ordinaire de Marco Ferreri (1981), puis deux ans plus tard dans La Fille de Trieste de Pasquale Festa Campanile.

Dans les années 1980, Ben Gazzara délaisse les premiers rôles et enchaîne les tournages européens dans des films plus confidentiels. Lorsqu'il revient à Hollywood, il choisit des rôles anecdotiques mais variés, maître du crime dans Road House, homme violent dans Happiness, ou encore père indifférent dans Buffalo'66. Il tourne par ailleurs pour des réalisateurs prestigieux, comme Joel Coen (The Big Lebowski), Spike Lee (Summer of Sam) ou encore Lars von Trier (Dogville) et sait faire confiance aux jeunes réalisateurs internationiaux en jouant, à 80 ans, dans Chez Gino du Français Samuel Benchetrit.

Ben Gazzara s'est essayé à la réalisation en 1989 avec Beyond the Ocean, dont il est également le scénariste. Inédit en France, son film rend hommage à John Cassavetes, disparu la même année, en reprenant ses méthodes de tournage.