Après des études à la Guildhall School of Music and Drama, Rhys Ifans entame une carrière théâtrale au Pays de Galles en jouant dans les pièces The Government inspector et Hamlet au Theatre Clwyd, puis interprète des productions britanniques comme Songe d'une nuit d'été au Regent's Park et Under milk wood, mis en scène par Roger Michell au Royal National Theatre. C'est grâce à ce dernier et à son rôle de colocataire loufoque de Hugh Grant dans la comédie romantique Coup de foudre à Notting Hill que Rhys Ifans accède à la consécration internationale en 1999.

Avant que son visage émacié et sa silhouette filiforme ne soient connus du grand public, Rhys Ifans donne la réplique à son frère Llyr Ifans dans la comédie policière Twin town (1997), incarne un amant violent dans le film policier Mort clinique (1998) ainsi qu'un coursier-espion aux côtés de Patsy Kensit dans Janice l'intérimaire (1999). A partir de 2000, l'acteur se retrouve souvent cantonné dans des rôles de déjantés, comme le prouvent ses prestations de truand pro de la gâchette dans Gangsters, sex & karaoké, d'affreux DJ officiant à Ibiza dans Kevin & Perry (2001) ou encore d'homme-singe dans Human nature (id.).

Dans un registre plus raffiné et plus classique, Rhys Ifans prend pied dans la haute bourgeoisie britannique du XIXe siècle pour les besoins de Vanity fair, la foire aux vanités (2005). Il est ensuite très actif, s'illustrant dans Chromophobia (2005), Hannibal Lecter : les origines du mal (2007) ou encore Elizabeth : l'âge d'or (id.). Il retrouve d'ailleurs la période élisabéthaine quatre ans plus tard dans le Anonymous de Roland Emmerich, interprétant le Comte d'Oxford, l'auteur supposé de certaines pièces de William Shakespeare.

Après avoir fait partie de la déjantée troupe de Good Morning England, les années 2010 le voient varier les genres : il joue dans Mr. Nobody de Jaco van Dormael, tient la tête d'affiche du biopic cannabique Mr. Nice et incarne le lunaire Xenophilius Lovegood dans Harry Potter et les reliques de la mort - partie 1 et 2. Le monde des blockbusters lui tend désormais les bras, puisqu'il est choisi pour se glisser dans la peau du Dr. Connors de The Amazing Spider-Man (2012), un scientifique qui se transforme en Lézard maléfique. Cette même année, il joue un professeur adepte des techniques de combat qui s'éprend d'Emily Blunt dans la comédie romantique 5 ans de réflexion.

L'acteur poursuit avec deux adaptations de romans : Madame Bovary et Serena. Présent au casting du biopic Snowden et du blockbuster Alice de l'autre côté du miroir, Rhys Ifans goûte aux joies du petit écran avec la série d'espionnage Berlin Station. En 2020, il rejoint la distribution du préquelle The King's Man : Première mission réalisé par Matthew Vaughn. Il y campe l'antagoniste Raspoutine.