Natif du New Jersey, Ed Harris a commencé par s'illustrer dans le football américain au lycée et à la Columbia University, où il étudie deux ans avant de s'inscrire à l'University of Oklahoma. C'est là qu'il commence à s'intéresser au théâtre, afin, dit-il, de surmonter sa timidité. Au début des années soixante-dix, il s'établit à Los Angeles et entre au California Institute of the Arts, où il obtient sa licence en 1975. Il s'illustre alors dans de nombreux spectacles, dont Un tramway nommé Désir et Hamlet. Il ne cessera par la suite de revenir au théâtre, sur la côte ouest ou est, in et off Broadway, glanant au passage de nombreuses récompenses, dont le Village Voice Obie Award (récompense pour les pièces off Broadway) du meilleur acteur pour son rôle dans Fool for Love de Sam Shepard.

Après quelques apparitions dans des séries télévisées, Ed Harris obtient son premier rôle au cinéma en 1978 dans Morts Suspectes de Michael Crichton. En 1981, il est la vedette de Knightriders de George A. Romero, qu'il retrouve en 1982 pour Creepshow, adapté de Stephen King. Il retrouvera l'univers kingien à deux reprises, notamment dans Le Bazaar de l'épouvante. On le décrit parfois comme un "sex-symbol pour femmes intelligentes". Bien qu'il soit relativement peu connu du grand public, L'Etoffe des heros (1983), Apollo 13 et Nixon (1995), La Firme (1993), et Stalingrad (2001) portent son empreinte.

Souvent "casté" dans des rôles d'homme à poigne, policier, shériff, ou militaire, il reste tout de même inclassable, alternant les blockbusters avec des films plus risqués : il affronte les profondeurs de l'océan dans le film fantastique Abyss (1989), où il paie de sa personne en se blessant sur les cascades, joue les terroristes dans Rock (1996), l'enquêteur manipulé aux trousses de Clint Eastwood dans Les Pleins Pouvoirs (1997), le démiurge cathodique dans le prophétique The Truman Show (1998)... ou encore l'agent secret trouble dans Un homme d'exception (2001) ou l'artiste rongé par le Sida dans The Hours (2002).

Il endosse la casquette de producteur/réalisateur pour le long métrage Pollock en 2000. Totalement passionné par son sujet, la biographie du peintre américain Jackson Pollock, Harris fait construire un studio dans sa propriété pour s'initier à la peinture et étudier le style pollockien. Salué par la critique, il obtient une nomination pour l'Oscar du Meilleur Acteur. En 2005, il incarne un mafieux défiguré à la poursuite de Viggo Mortensen dans A history of violence de David Cronenberg. L'année d'après, il se met une fois encore dans la peau d'un célèbre artiste, interprétant le compositeur Beethoven dans une biographie fictive, Copying Beethoven, aux côtés de Diane Kruger, qu'il retrouve en 2007 dans Benjamin Gates et le Livre des Secrets.

L'acteur se consacre dorénavant à la réalisation de son deuxième film, Appaloosa, un western qu'il tourne au Mexique, avec Viggo Mortensen, Renée Zellweger et Diane Lane, et dans lequel il joue également. On peut aussi voir Ed dans Gone Baby Gone de Ben Affleck (2007), où il endosse à nouveau le rôle d'un enquêteur tenace. Il réitère l'expérience dans Cleaner, pour lequel il partage l'affiche avec Samuel L. Jackson et Eva Mendes. Dans Les Chemins de la liberté (2010), le comédien joue, aux côtés de Jim Sturgess, un prisonnier solide et aguerri prêt à parcourir des milliers de kilomètres à pieds pour rejoindre l'Inde depuis un camp de Sibérie. L'année suivante, il campe un ignoble homme d'affaires dans le thriller Dos au Mur.

2013 est une année éclectique pour Ed, dont l'indémodable "gueule" est toujours sollicitée. Il participe en effet à No Pain No Gain de Michael Bay, est la tête d'affiche du western Sherif Jackson et apparaît dans le film de SF réalisé par Bong Joon Ho, Le Transperceneige. Poursuivant sa carrière avec un rythme soutenu, le natif de Tenafly prend part à Night Run, L'Exception à la règle, Geostorm, Kodachrome, L'Ultime sacrifice et Resistance. En parallèle, il campe le terrifiant Homme en noir dans la brillante série Westworld. Il attaque les années 2020 avec deux personnages secondaires dans The Lost Daughter et Top Gun: Maverick, puis en jouant un gangster papa de Kirsten Stewart dans Love Lies Bleeding.