Après des études de cinéma à Montpellier, Tahar Rahim débute sa carrière de comédien en 2005 en s'illustrant dans Tahar l'étudiant, un docu-fiction signé Cyril Mennegun et qui s'inspire de son propre quotidien. Inscrit au Laboratoire de l'acteur, il se produit également sur les planches en 2007 dans la pièce Libres sont les papillons de Leonard Gersh. Parallèlement, on le découvre en policier municipal dans le film d'horreur A l'intérieur de Julien Maury et Alexandre Bustillo.
Mais c'est sa prestation de petite frappe dans la série La Commune diffusée sur Canal + qui va lui conférer une certaine popularité. Remarqué par le réalisateur Jacques Audiard pour sa justesse de ton et son côté juvénile, Tahar Rahim décroche le rôle du délinquant Malik El Djebena, personnage principal du Prophète. Portée par la performance fiévreuse de son interprète, cette violente plongée dans l'univers carcéral français est le lauréat du Grand Prix au Festival de Cannes en 2009. Le film est surtout récompensé par neuf César en 2010 dont le César du Meilleur Espoir Masculin et celui du Meilleur Acteur pour Tahar Rahim, ce doublet étant une grande première dans l'histoire de la cérémonie.
Sa carrière est désormais lancée, comme en témoignent ses nombreuses prestations durant l'année 2011. Ainsi, il commence par s'afficher aux côtés de Channing Tatum dans L'Aigle de la Neuvième Légion film anglo-américain de Kevin Macdonald, et joue le rôle d'un espion malgré lui pendant la Deuxième Guerre mondiale dans Les Hommes libres avec Michael Lonsdale. L'acteur enchaine avec le drame Love and Bruises, où il incarne Mathieu, un jeune ouvrier qui tombe amoureux d'une étudiante chinoise interprétée par Corinne Yam, et sous la direction de Lou Ye. La même année, il revient aux intrigues historiques en tenant le rôle principal dans un film de Jean-Jacques Annaud, Or Noir, dans lequel Tahar Rahim incarne un jeune prince dynamique.
Le comédien tourne ensuite dans le nouveau long-métrage de Joachim Lafosse, A perdre la raison, pour lequel il retrouve Niels Arestrup et revient en 2013 sur la Croisette avec deux films en compétition : Le Passé du réalisateur iranien Asghar Farhadi et Grand Central de Rebecca Zlotowski. En 2014, Tahar Rahim est à l'affiche de deux films : Samba et The Cut. Dans le premier, il endosse le rôle de Wilson, un sans-papiers qui vient en aide au personnage joué par Omar Sy, et dans le second, l'acteur incarne Nazaret Manoogian, un Arménien qui fuit le génocide perpétré en 1915 et part à la recherche de ses deux filles disparues.
Tahar se glisse ensuite dans les habits du Père Noël avant de s'illustrer l'année suivante dans Les Anarchistes aux côtés d'Adèle Exarchopoulos. En 2016, il tient le rôle d'un médecin dans le drame poignant Réparer les vivants puis tourne sous la direction du cinéaste japonais Kiyoshi Kurosawa dans le drame fantastique Le Secret de la chambre noire. L'année d'après, l'acteur incarne un humoriste à succès en conflit avec un frère envahissant dans Le Prix du succès avec Roschdy Zem. Il sera ensuite Judas dans Mary Magdalene, évocation de la vie de Marie Madeleine. Il donnera la réplique à Rooney Mara et Joaquin Phoenix.