Après des études d'ingénieur, Giancarlo Giannini s'oriente vers une carrière artistique. Il entre à l'Académie d'art dramatique Silvio d'Amico puis trouve quelques rôles au théâtre dans des adaptations de William Shakespeare. En 1965, il fait ses débuts au cinéma dans Fango sulla metropoli de Gino Mangini. Cette même année, il rencontre Lina Wertmüller qui le dirige au théâtre. La cinéaste l'emploiera par la suite dans la quasi-totalité de ses films. Les deux fonderont même ensemble la société de production Liberty films. En 1968, Giancarlo Giannini tient un rôle secondaire de soldat dans Anzio d'Edward Dmytryk au côté d'acteurs prestigieux comme Robert Mitchum, Robert Ryan et Peter Falk. De même l'année suivante, on le retrouve avec Anthony Quinn et Anna Magnani dans Le Secret de Santa Vittoria de Stanley Kramer.

Au-delà de ses quelques productions internationales, c'est d'abord en Italie qu'il commence à se faire un nom. Ettore Scola le place dans un triangle amoureux avec Marcello Mastroianni et Monica Vitti dans Drame de la jalousie (1970). Il obtient ensuite quelques rôles principaux comme dans le thriller La Tarantule au ventre noir (1972) de Paolo Cavara dans lequel il joue un inspecteur de police. En 1973, sa carrière connaît un tournant important quand il reçoit le prix d'interprétation masculine à Cannes pour sa performance dans Film d'amore e d'anarchia, ovvero stamattina alle 10 in via dei Fiori nella nota casa di tolleranza de Lina Wertmüller. Giancarlo Giannini y incarne un jeune paysan partant à Rome assassiné Mussolini.

En 1974, le comédien joue au côté de Catherine Deneuve et Fernando Rey dans La Grande bourgeoise de Mauro Bolognini. Il tourne également Deux grandes gueules (1974), un road movie sous la direction de Sergio Corbucci et incarne un aristocrate insatisfait dans L' Innocent (1976) de Luchino Visconti. Sa carrière est alors à son apogée. Il est nommé pour l'Oscar du meilleur acteur pour son rôle de petite frappe dans Pasqualino (1976).

Si Giancarlo Giannini continue à tourner énormément par la suite, ses rôles sont nettement moins prestigieux. Rainer Werner Fassbinder lui donne le rôle d'un jeune musicien juif dans Lili Marleen (1981). Il fait aussi des apparitions dans le segment de New York Stories de Francis Ford Coppola, Le Soleil même la nuit (1989) des frères Taviani ou Vita coi fligi de Dino Risi. En 1998, il retrouve Ettore Scola pour Le Dîner. A la même période, il tient quelques seconds rôles dans deux grosses productions hollywoodiennes : Mimic (1997) et Hannibal (2001). Douze ans après son père, Roman Coppola le fait tourner dans CQ (2001). Entre temps, Giancarlo Giannini a écrit et réalisé son premier film en 1987 : Ternosecco.