Fils d'un violoniste et d'une pianiste, Michel Piccoli est envoyé en pension dès l'enfance. A l'occasion d'un spectacle de fin d'année, un déclic se produit chez cet adolescent introverti qui s'épanouit sur les planches. Décidant de devenir acteur à 18 ans, il prend des cours de théâtre chez Andrée Bauer-Thérond, puis René Simon. S'il apparaît à l'écran dès 1945 dans Sortilèges de Christian-Jaque et trouve un premier vrai rôle (celui d'un mineur) dans Le Point du jour en 1948, il se consacre surtout à la scène, au sein des compagnies Renaud-Barrault et Grenier-Hussenot ou encore du très novateur Théâtre de Babylone.

Remarqué dans Le Doulos et les films de Pierre Chenal, Michel Piccoli accède à la célébrité grâce au Mépris de Godard (1963), dans lequel il forme avec B. B. un couple de légende. La popularité du comédien fait un bond après son interprétation de Dom Juan dans une adaptation télévisuelle par Marcel Bluwal en 1965. Avec ses tempes grisonnantes et sa tranquille assurance, le quadragénaire enchaîne les rôles de séducteurs, donnant à plusieurs reprises la réplique à Catherine Deneuve dans La Chamade, Benjamin ou les mémoires d'un puceau (gros succès public en 1967) ou encore Belle de jour de Luis Buñuel. Avec ce dernier, il entretiendra une longue collaboration cinématographique commencée dès 1956 avec La Mort en ce jardin, suivi notamment des films Le Journal d'une femme de chambre (1964), Belle de Jour (1967), Le Charme discret de la bourgeoisie (1972) ou Le Fantôme de la liberté (1974).

Alter ego de Claude Sautet dans Les Choses de la vie (1970) ou Vincent, François, Paul et les autres, subtiles chroniques qui lui assurent les faveurs du public, Piccoli met à mal son statut de vedette en incarnant un homosexuel dans La Grande Bouffe (1973), le film à scandale signé par un autre de ses cinéastes-fétiches, Marco Ferreri, puis un homme amoureux d'une poupée gonflable dans Grandeur nature. Prenant grand plaisir à jouer les escrocs (Sept morts sur ordonnance, Le Trio infernal), l'acteur excelle dans l’ambiguïté, comme en témoignent ses prestations dans Le Saut dans le vide et Une étrange affaire - deux rôles qui lui valent un prix d'interprétation, le premier à Cannes en 1980, le second à Berlin en 1982.

Citoyen engagé, producteur courageux (Le Général de l'armée morte), le comédien met sa notoriété au service de jeunes auteurs tels que Jacques Doillon (La Fille prodigue) et Leos Carax (Mauvais sang, 1986). "Il faut toujours apprendre son métier, on ne sait jamais quand on tombe sur une constellation juste, alors il faut voyager", déclare en 1986 aux Cahiers du cinéma celui qui bourlingua en compagnie de Renoir et Resnais et Chabrol, Demy et Varda, Lelouch et Tavernier. A plus de 60 ans, il trouve encore des rôles marquants : le malicieux Milou (en mai), le peintre intransigeant de La Belle Noiseuse (1991), l'étrange psy de Généalogies d'un crime ou encore l'acteur en crise de Je rentre à la maison (2001).

Mais Piccoli l'aventurier tient à se lancer un nouveau défi : après avoir tourné avec les plus grands, d'Hitchcock à Luis Buñuel en passant par Manoel de Oliveira, Piccoli veut s'essayer à la réalisation. Après deux courts métrages, il signe en 1997 le loufoque Alors voila,, suivi de La Plage noire, une réflexion sur l'exil et la liberté. La singularité du metteur en scène se confirme avec C'est pas tout à fait la vie dont j'avais rêvé, présenté en Sélection officielle à Cannes en 2005. Six ans plus tard, Michel Piccoli foule de nouveau les marches rouges de la Croisette pour défendre Habemus Papam de Nanni Moretti. Si le jury se prononce finalement en faveur de son compatriote Jean Dujardin, son interprétation d'un pape dépressif et en proie au doute lui vaut les éloges des critiques du monde entier. Habitué depuis ses débuts à faire la navette entre la France et l'Italie pour sa carrière, travaillant aussi bien avec René Clément et Jacques Demy d'un côté et Marco Ferreri ou Vittorio De Sica de l'autre, il quitte ensuite le Vatican pour tourner avec Alain Resnais, autre grande figure du septième art avec qui il a déjà collaboré (La Guerre est finie, 1965), pour Vous n'avez encore rien vu.

En 2012, Michel Piccoli fait une dernière incursion chez Leos Carax dans Holy Motors, avant de tourner le drame belge Le Goût des myrtilles, qui sera son dernier film. Il décède le 12 mai 2020 à l'âge de 94 ans, des suites d'un accident cérébral.