Né à Brooklyn, Eli Wallach débute sa carrière d'acteur au théâtre. Il fait partie d'une troupe d'étudiants avec laquelle il joue notamment Liliom et interprète quelques petits rôles dans des pièces comme Alice au pays des merveilles ou Henry VII à Broadway, dès l'après-guerre. En 1948, il rentre dans la prestigieuse Actors Studio et travaille avec Elia Kazan sous la direction duquel il débute sur le grand écran dans La Poupée de chair, démarrant sa carrière cinématographique à quarante ans passés.

Son jeu, qui mêle sensualité et bouffonnerie, est alors immédiatement remarqué par la critique. Acteur de composition, il donne la réplique à Marilyn Monroe aux côtés de Montgomery Clift et Clark Gable dans Les Désaxés de John Huston, avant de changer totalement de registre sous la direction de John Sturges pour Les Sept mercenaires.

Promu général dans le Lord Jim de Richard Brooks, le comédien trouve la consécration l'année suivante en campant Tuco, le complice hirsute, éructant et tonitruant de Clint Eastwood dans Le Bon, la brute et le truand. Une composition d'anthologie sous la direction de Sergio Leone qui lui vaut la reconnaissance immédiate du public.

Poursuivant parallèlement une riche carrière théâtrale, Eli Wallach partage encore l'affiche du Cerveau de Gérard Oury aux côtés de Jean-Paul Belmondo et Bourvil, mais se fait également remarquer par des créations plus nuancées, en marin nostalgique dans Permission d'aimer de Mark Rydell ou en rabbin sensible dans Girlfriends de Claudia Weill.

Moins présent sur grand écran dans les années 80, le comédien revient cependant en force à travers quelques apparitions toujours appréciées, dans Le Parrain, 3e partie de Francis Ford Coppola, dans Au nom d'Anna, le premier film d'Edward Norton ainsi que dans Mystic river, où il retrouve en 2003, son vieux complice Clint Eastwood.

Il se spécialise ensuite dans les comédies dramatiques ou sentimentales dont Faussaire avec Richard Gere ou The Holiday, puis fait partie de l'impressionnante distribution du film New York, I Love You. En 2010, il joue aux côtés de la jeune génération d'Hollywood : Ewan McGregor dans The Ghost-Writer de Roman Polanski et Shia LaBeouf dans Wall Street : l'argent ne dort jamais d'Oliver Stone.