Issu d'une famille d'émigrants juifs installée à Chicago qui disposait d'une grande influence sur l'activité théâtrale de la ville, Bob Balaban a baigné très jeune dans le milieu du spectacle. Son oncle a été le président de Paramount Pictures et son grand-père fut à la tête durant plusieurs années des productions MGM.

Après des études d'art dramatique à New-York, il joue dans plusieurs productions théâtrales pendant deux ans puis enchaîne des petits rôles au cinéma notamment dans Catch 22 (1970) de Mike Nichols avant de se faire remarquer dans le film fantastique Rencontres du 3ème type (1977) de Steven Spielberg. En restant dans le registre de la science-fiction, il collabore avec Ken Russell dans Au-delà du réel (1980) et avec Peter Hyams dans 2010 (1984).

Acteur éclectique, il multiplie les genres aussi à l'aise dans des films policiers comme Le Prince de New York de Sidney Lumet que comme les comédies dramatiques de Woody Allen avec qui il collabore à deux reprises avec Alice et Harry dans tous ses états. Le réalisateur Christopher Guest lui permet d'exploiter son potentiel comique à travers trois comédies Waiting for Guffman (1996), Bêtes de scène (2000), A mighty wind (2002). Il passe derrière la caméra en 1989 pour sa première réalisation Parents, une comédie fantastique puis réitère son expérience en 1993 avec My Boyfriend's Back, en 1994 avec The Last Good Time sans se cantonner à un genre particulier.

Egalement présent sur le petit écran, il campe de manière récurrente des rôles dans des sériés télévisées notamment dans Deux flics à Miami, Friends et Seinfeld. Il élargit ses compétences en signant la réalisation de plusieurs épisodes de séries comme Oz ou Temps Mort et Temps Mort ou encore La 13ème dimension.

En 2002, il est à la fois le scénariste, le producteur et un des interprètes de Gosford Park de Robert Altman, film nommé 7 fois aux Oscars. Il rejoint ensuite Philip Seymour Hoffman dans Truman Capote (2005) de Bennett Miller, la biographie du célèbre écrivain. Il continue à porter double casquette en réalisant plusieurs téléfilms, dont Bernard et Doris en 2006, qu'il produit également, mais s'investit plus profondément dans ses rôles. Il tourne pour la première fois avec Night Shyamalan qui le sort quelque peu de ses personnages habituels, dans La jeune fille de l'eau (2006).

Son activité s'intensifie au début des années 2010 avec plusieurs rôles pour des séries TV comme The Good Wife. Il retrouve Bill Murray sur le tournage de Moonrise Kingdom de Wes Anderson, où sa voix de narrateur est grandement appréciée et tourne encore avec l'acteur américain dans Monuments Men de George Clooney, son rôle y est nettement plus conséquent puisqu'il est l'un des sept soldats improvisés du film.