Tony Shalhoub a d'abord commencé une carrière sur les planches où il a joué de nombreux classiques : En attendant Godot, Conversations wth my father, The Heidi chronicles ou encore Richard III.

Après quelques apparitions dans des téléfilms (That championship season), et un petit rôle dans Quick Change, sa carrière semble lancée lorsqu'il rencontre les frères Joel et Ethan Coen et joue dans Barton Fink en 1991. Mais Shalhoub se voit surtout confier de petits rôles, c'est pour cela qu'il persévère sur le petit écran où il obtient des rôles plus étoffés. En 1996, il joue sous la direction de Stanley Tucci dans Big night, avec lequel il obtient le Prix du meilleur second rôle de la National society of film critics, avant d'interpréter, l'année suivante, un extraterrestre remarqué dans MIB Men in Black. Eclectique, c'est aussi en 1997 qu'il joue dans le polar futuriste Bienvenue a Gattaca.

En 1998, il apparaît dans Couvre-feu, et aux côtés de John Travolta dans Prejudice. Il est le commandant Fred Kwan dans la parodie spatiale Galaxy Quest en 1999 où il affronte la vermine de l'espace, avant de jouer dans le blockbuster pour kids : Spy Kids réalisé par Robert Rodriguez en 2001, et ses suites Spy Kids 2 (2002) et 3 (2003). En 2001 il fait à nouveau équipe avec les frères Coen, dix ans après Barton Fink, pour The Barber : l'homme qui n'était pas là et part à la chasse aux ectoplasmes dans le remake du film horrifique 13 fantômes.

En 2002, commence la diffusion de la série Monk, dans laquelle il interprète le rôle titre, celui d'Adrien Monk, un détective infaillible mais atteint de nombreux troubles obsessionnels compulsifs. Ce rôle lui offre une notoriété internationale, et la série est renouvelée pendant 8 saisons, lui permettant de rester dans la peau de l'ancien policier extrêmement maniaque jusqu'à 2009.

Durant cette période, Tony trouve tout de même le temps de prêter sa voix à Luigi, la fiat 500 jaune, dans Cars. Il se produit également dans quelques courts métrages (T for Terrorist, L.A. Actors) et rôles secondaires au cinéma (Chambre 1408, adapté d'un roman de Stephen King). Après l'arrêt de la série, il rempile pour le doublage de Cars 2, et participe à des téléfilms (Too Big to Fail, Hemingway & Gellhorn). En 2013, le réalisateur Michael Bay lui confie le rôle du business man richissime victime du "Sun Gym Gang" dans le film inspiré de faits réels No Pain No Gain, où il donne la réplique à Mark Wahlberg et Dwayne Johnson.