George Segal  a commencé sa carrière en 1960 avec quelques apparitions télé dont son premier long métrage en tant qu'acteur : Les Blouses blanches, sorti en 1961 (1963 en France). En 1964, il obtient un second rôle dans Le Mercenaire de minuit aux côtés de Yul Brynner, avant d'obtenir son premier rôle principal dans le film de guerre Un caïd (1965), signé Bryan Forbes.

Le comédien donne ensuite la réplique à Anthony Quinn et Alain Delon dans Les Centurions puis à Richard Burton et Elizabeth Taylor dans Qui a peur de Virginia Woolf. Son rôle d'un professeur de biologie ambitieux et séducteur lui vaut une nomination à l'Oscar du Meilleur second rôle.

Cette nomination lui permet une dizaine d'années fructueuses à côtoyer (souvent en tête d'affiche) des réalisateurs de renom comme Jack Smight (Le Refroidisseur de dames), Carl Reiner (Where's Poppa?), Peter Yates (Les Quatre malfrats), Paul Mazurky (Les Choses de l'amour) ou Robert Altman (Les Flambeurs).

La seconde moitié des années 70 le voit enchaîner les échecs malgré deux films sympathiques réalisés par Ted Kotcheff : Touche pas à mon gazon (1977) avec Jane Fonda et La Grande cuisine (1978) avec Jean-Pierre Cassel, Philippe Noiret et Jean Rochefort. La décennie 80 sera aussi compliquée pour Segal, qui revient grâce à une série, Murphy, l'art et la manière d'un privé très spécial en 1988, puis accède au casting de Allo maman, ici bébé et sa suite, Allo maman, c'est Noël.

Le reste des années 90 le voient passer d'un petit rôle à un autre avant d'être engagé en régulier dans Voilà !, dans laquelle il incarnait le propriétaire du magazine de mode Blush durant 7 saisons diffusées de 1997 à 2003. Il fait son grand retour en 2013 dans Les Goldberg, dans laquelle il est Albert Solomon dit "Pops", le grand-père de la famille, diffusée sur ABC. Son dernier épisode est le 16ème de la saison 8, diffusé quinze jours après son décès le 23 mars 2021.