Mahershala Ali découvre la comédie à l'université et joue sur scène pour le "California Shakespeare Festival" pendant une saison. Après l'obtention d'un diplôme en arts dramatiques, il s'oriente vers la télévision et participe à la 1ère saison de Preuve à l'appui (2001) où il interprète le Dr. Trey Sanders. Après des apparitions dans Haunted (2002), Les Experts (2003) et FBI : opérations secrètes, il s'établit dans l'unique saison de l'Agence Matrix. En 2004, il devient Richard Tyler, l'un des 4400, rôle qu'il tient jusqu'en 2007, pour 31 épisodes de la célèbre série de science-fiction.

L'acteur change de registre en se tournant vers le grand écran, pour interpréter un second rôle dans L'Etrange histoire de Benjamin Button de David Fincher en 2009, aux côtés de Brad Pitt et Cate Blanchett. Après avoir participé à un épisode des séries Lie To Me et New York Unité Spéciale, il rejoint le casting musclé de Predators, la suite de Predator et Predator 2 réalisée par Nimrod Antal (Blindés). En 2014 et 2015, il est à l'affiche des opus 3 et 4 de la saga Hunger Games. David Fincher lui offre ensuite le rôle du lobbyiste Rémy Danton dans sa série à succès House of Cards.

En 2016, Ali accède à la consécration en remportant l'Oscar du meilleur second rôle masculin pour sa performance dans Moonlight, également auréolé de la statuette du meilleur film. Le comédien excelle en criminel sensible, prenant sous son aile le jeune héros.

En 2019, plus rien n'arrête le comédien. Son rôle de musicien élégant dans Green Book lui vaut le Golden Globes du meilleur second rôle et une une seconde nomination à l'Oscar dans cette même catégorie. Après avoir campé Cottonmouth, un méchant charismatique dans la série Marvel Luke Cage, il décroche le rôle principal de la 3ème saison de True Detective, l'inspecteur Wayne Hays. On le retrouve au cinéma cette même année dans Alita Battle Angel, adaptation du célèbre manga Gunnm. Il y campe le sournois Victor.

Puis, l'acteur se fait plus rare, même si on peut le voir dans la peau du personnage principal du film de SF Swan Song et du thriller Netflix Le Monde après nous. En 2025, il est à l'affiche de l'un des films les plus attendus de l'année. Il s'agit de Jurassic World : Renaissance, septième volet de la lucrative saga initiée par Steven Spielberg en 1993.