D'origine arabe, F. Murray Abraham est d'abord un comédien de scène. Il multiplie dans les années 70 les apparitions à l'écran : au cinéma (Les Hommes du Président, The Big fix), à la télévision (Kojak) et dans les spots publicitaires (pour Fruit of the loom). Son premier rôle marquant reste celui de l'agent infiltré dans Scarface (1983) de Brian De Palma. Deux ans plus tard, il remporte l'Oscar du Meilleur second rôle masculin pour sa prestation du compositeur Salieri dans Amadeus (1984).

Spécialisé dans les personnages profondément antipathiques, il est le grand inquisiteur du Nom de la rose (1986), le maire fourbe de New York dans Le Bûcher des vanités (1991),- un film qu'il désavouera par la suite et au générique duquel il refusera d'apparaître -, le chasseur de SDF de Que la chasse commence ! (1994), le Al Capone de Dillinger and Capone (1995) et le machiavélique professeur Cyrus Kriticos de 13 fantômes (2002).

Lorsqu'il se positionne du côté du "Bien", il est le compagnon de cellule de Tom Selleck dans Délit d'innocence (1989) ou le Dr. Gates, à qui l'on doit les créatures de Mimic (1997). Ayant également quelques comédies à son actif, parmi lesquelles Maudite Aphrodite (1995) ou encore Les Muppets dans l'espace (1999), il intègre en 2004 le casting prestigieux du Pont du roi Saint-Louis.