Michael Constantine débute sa carrière sur les scènes de Broadway au milieu des années 50. Sur grand écran, il côtoie notamment Paul Newman dans L'Arnaqueur ou encore Faye Dunaway dans Le Voyage des damnés. A la télévision, il est très actif : mafieux dans Les Incorruptibles, directeur d'école dans Room 222 (une prestation qui lui vaut un Emmy Award), il s'illustre également dans Kojak, Supercopter, MacGyver, Perry Mason, Magnum ou encore New York, police judiciaire.

Mais c'est sur le tard, en 2002, que Michael Constantine connaît une reconnaissance internationale avec son rôle du patriarche Gus Portokalos dans la comédie Mariage à la grecque, succès surprise au box-office. L'acteur reprendra son rôle l'année suivante dans une série CBS ainsi qu'en 2016 dans la suite cinématographique.