Après des débuts sur scène dès l'âge de six ans dans la pièce Antigone dirigée par son père, Sam Waterston entreprend des études supérieures à la Sorbonne, à l'American Actors Workshop de Paris où il suit l'enseignement de John Berry, puis à la Yale School of Drama.

Après une apparition dans la série Dr. Kildare en 1961, Sam Waterston se fait remarquer à Broadway en 1962 dans la pièce Oh dad, poor dad, mama's hung you in the closet and I'm feelin' so bad. L'acteur restera dès lors très attaché aux planches qu'il retrouvera régulièrement. Au cinéma, on le remarque pour la première fois dans Savages de James Ivory en 1972, mais c'est deux ans plus tard, aux côtés de Robert Redford et Mia Farrow, que le public le découvre réellement dans Gatsby le magnifique de Jack Clayton, qui lui vaut alors une nomination au Golden Globe du meilleur acteur dans un second rôle. En 1978, Sam Waterston collabore pour la première fois avec Woody Allen dans Intérieurs, avant de retrouver le cinéaste pour Hannah et ses soeurs (1986), September (1987) et Crimes et Delits (1989).

En 1980, il tient l'un des premiers rôles de La Porte du paradis de Michael Cimino, avant d'enchaîner sur l'une de ses interprétations les plus marquantes : celle du journaliste Sidney Schanberg dans La Dechirure de Roland Joffé, qui lui permet d'être nommé à l'Oscar du meilleur acteur. Les années 90 marquent un tournant dans la carrière de l'acteur, qui partage son temps entre le cinéma (Serial Mother, de John Waters, en 1994 ou le film d'action Haute Trahison en 1997) et la télévision, avec la série de Dick Wolf New York District, dans laquelle il incarne, entre 1994 et 2010, le premier substitut du procureur Jack McCoy. 

Pris par cet engagement télévisuel, Sam Waterston se fait plus discret sur grand écran à l'aube de l'an 2000. Il retrouve tout de même James Ivory en 2003 pour le film Le Divorce, dans lequel il donne notamment la réplique à Kate Hudson. Mais c’est désormais clairement sur le petit écran que le comédien trouve les opportunités les plus intéressantes. En 2012, le scénariste Aaron Sorkin fait appel à lui pour jouer Charlie Skinner, le responsable de la branche information de la chaîne ACN, dans sa nouvelle création, The Newsroom.

En 2015, quelques mois seulement après la fin de la série, les téléspectateurs retrouvent Sam Waterston dans un rôle régulier, face à Jane Fonda et Martin Sheen, dans la comédie de Netflix Grace et Frankie. Il prête ses traits à Sol, qui annonce un beau jour à sa femme Frankie, interprétée par Lily Tomlin, qu’il la quitte pour épouser un homme.