Issu du Conservatoire Stella Adler, Mark Ruffalo débute sa carrière au Cast Theater et fonde sa propre troupe de théâtre, la Orpheus Theatre Company. Il fait ses premières apparitions sur grand écran en 1993, dans Rough Trade et There Goes my Baby. Enchaînant les petits rôles à la fin des années 90 et au début des années 2000 (Casses en tous genres, Studio 54, Chevauchée avec le diable), le comédien connaît la consécration avec la comédie dramatique Tu peux compter sur moi en 2001.

Devenu une valeur sûre du cinéma américain, il joue les seconds couteaux dans de grosses productions telles que le film de prison Le Dernier château (2002) aux côtés de Robert Redford, le film de guerre Windtalkers (id.) de John Woo, ou encore le polar Collateral (2004) de Michael Mann. A l'aise dans les comédies romantiques (30 ans sinon rien, Hôtesse à tout prix, Et si c'était vrai..., La Rumeur court), il s'essaie également à un cinéma plus en marge du circuit hollywoodien traditionnel, en s'illustrant dans In the Cut (2003) de Jane Campion ou dans Eternal Sunshine of the Spotless Mind (2004) de Michel Gondry.

En 2007, cet hyperactif à la gueule d'ange trouve l'un de ses rôles les plus marquants en traquant le fameux tueur Zodiac dans un thriller signé David Fincher. Le vent en poupe, il est alors sollicité par les plus grands pour des œuvres aussi diverses et exigeantes que le cauchemardesque Blindness (2008), le féérique Max et les maximonstres (2009) et l'intrigant Shutter Island (2010). Au milieu de ce programme bien chargé, il trouve même le temps de passer derrière la caméra, pour mettre en scène Sympathy for Delicious.

Devenu une figure bankable du paysage hollywoodien, il est choisi en 2012 pour prêter ses traits à l'incroyable Hulk dans le blockbuster Avengers, où il donne la réplique à une pléiade de super-héros, incarnés entre autres par Robert Downey Jr., Chris Hemsworth ou encore Chris Evans. Désormais membre du Marvel Cinematic Universe, l'acteur reprendra ce rôle durant une décennie sur grand (Avengers: L'Ère d'Ultron, Thor : Ragnarok, Avengers: Infinity War et Endgame) et petit écrans (She-Hulk : Avocate, What If...?).

Le raz-de-marée qu'est le MCU au box-office mondial ne l'empêche pas de prendre part à des projets indépendants tels que le drame de Kenneth Lonergan Margaret (2011) ; la comédie musicale New York Melody (2013) avec Keira Knightley où il joue un producteur de musique déchu et alcoolique ; Foxcatcher (2014) où son rôle de frère bienveillant d'un champion de lutte lui vaut une nomination aux Oscars ; et le téléfilm The Normal Heart (id.) de Ryan Murphy sur la montée du sida dans les années 80. 

Durant cette période, il connaît aussi un succès commercial avec Insaisissables (2013), où il est un enquêteur chargé de démasquer un groupe d'illusionnistes et braqueurs de banque. Ce film policier de Louis Leterrier est si lucratif qu'une suite voit le jour en 2016, dans laquelle le comédien rempile. Il est également à l'affiche de Spotlight (2015), qui rafle l'Oscar du meilleur film face à Mad Max: Fury Road, Le Pont des espions et The Revenant notamment. Le drame de Tom McCarthy retrace l'histoire vraie d'une équipe de journalistes d’investigation qui a mis à jour un scandale sexuel sans précédent au sein de l’Eglise Catholique.

Mark Ruffalo mène une nouvelle fois l'enquête en 2019 dans Dark Waters. Devant la caméra de Todd Haynes, il est un avocat qui se dresse contre un puissant groupe chimique. L'année suivante, il s'offre une incursion à la télévision avec I Know This Much Is True. Son interprétation de jumeaux lui vaut l'Emmy et le Golden Globe du meilleur acteur dans une mini-série. En 2023, il joue un homme débauché qui embarque avec Emma Stone pour une odyssée extravaganrte dans le baroque Pauvres créatures.