Petit-fils d'un menuisier, Olivier Gourmet grandit à Mirwart, village des Ardennes belges où son père est marchand de bestiaux et sa mère patronne d'un hôtel-restaurant. Il se découvre un talent d'acteur à 13 ans, lorsqu'on lui demande de remplacer au pied levé un camarade de classe malade : en une réplique, il fait rire l'assistance. Après avoir hésité entre le journalisme sportif et la comédie, il obtient le Premier prix du Conservatoire de Liège au bout de seulement deux ans. Passé brièvement par le Cours Florent, en classe libre, et par l'école des Amandiers de Chéreau (qui le dirigera plus tard dans Ceux qui m'aiment prendront le train), il enchaîne, à partir des années 80, les pièces de théâtre, de Labiche à Claudel.

En 1996, la première apparition au cinéma d'Olivier Gourmet marque les esprits : dans La Promesse, le film coup de poing de Jean-Pierre et Luc Dardenne, il se révèle saisissant de vérité en père odieux et combinard. Les frères belges, adeptes d'un cinéma brut et citoyen, ont trouvé l'acteur idoine. Ils lui confient alors le rôle du patron dans Rosetta, puis celui d'un menuisier qui engage comme apprenti l'assassin de son enfant dans Le Fils : souvent filmé de dos, le comédien n'en émeut pas moins le Jury du Festival de Cannes qui lui attribue le Prix d'interprétation en 2002. Mais, avant d'être consacré sur la Croisette, le Wallon avait déjà attiré l'attention des cinéastes français, participant à des oeuvres exigeantes (Nationale 7, De l'histoire ancienne), et affichant une prédilection pour les rôles de salauds (Sur mes lèvres, Sauve-moi).

Très sollicité après son Prix d'interprétation, Olivier Gourmet reste la figure familière d'un cinéma d'auteur pointu (celui de des Pallières ou Eugène Green), mais prend aussi part à des productions plus grand public, comme Le Mystère de la chambre jaune, Les Fautes d'orthographe (2004) ou Les Brigades du Tigre (2006). Mi-ogre mi-prince charmant dans La Petite Chartreuse, il s'attache à révéler la part d'humanité de héros a priori infréquentables (le PDG du Couperet de Costa-Gavras). Son charisme et sa carrure l'orientent vers des personnages qui représentent l'autorité (militaire dans Mon colonel, curé dans Jacquou Le Croquant).

Compagnon de Nathalie Baye (Mon fils à moi) ou d'Isabelle Huppert (Home), il occupe une place centrale dans le cinéma hexagonal, comme en témoignent ses prestations dans les films-événements Coluche d'Antoine de Caunes, Mesrine de Jean-Francois Richet (2008) ou encore Go Fast (id.) d'Olivier Van Hoofstadt. Cet engouement se confirme avec sa participation à Bancs publics (Versailles rive droite) (2009) de Bruno Podalydès et Vénus noire (2010) d'Abdellatif Kechiche. Cependant, Olivier Gourmet n'oublie pas son pays d'origine, le comédien étant présent, pour la seule année 2010, aux castings de Robert Mitchum est mort, d'Olivier Babinet et Fred Kihn, et de Blanc comme neige, aux côtés de François Cluzet et Louise Bourgoin. La même année, il donne la réplique à son compatriote Benoît Poelvoorde dans le très lucratif Rien à déclarer de Dany Boon.

En 2011, il n'a pas moins de cinq films à son actif, dont Le Gamin au vélo des frères Dardenne, et le très plébiscité L'Exercice de l'État, qui, en plus d'avoir reçu le Prix de la Critique au Festival de Cannes 2011, a été nommé dans onze catégories aux César 2012. Après avoir endossé le rôle d'un Ministre des transports, Olivier Gourmet reste dans les arcanes du pouvoir dans une fiction de Michel Muller intitulée Hénaut Président, puis pour le téléfilm de Pierre Schoeller, Les Anonymes, avant de passer de l'autre côté et de camper un redoutable tueur en série dans le polar Le Guetteur.

Les films continuent de se succéder pour Olivier Gourmet, figure désormais incontournable du cinéma francophone. Parmi les quatre longs-métrages dont il est à l'affiche en 2013, Grand Central de Rebecca Zlotowski, aux côtés de Tahar Rahim et Léa Seydoux est sélectionné à Cannes et lui vaut une nomination aux César ; également Violette de Martin Provost, qu'il retrouve en 2017 pour Sage Femme avec Catherine Deneuve. Il côtoie Raphaël Personnaz le temps de deux films, Le temps des aveux et L'affaire SK1. Après un retour au cinéma social dans Jamais de la vie de Pierre Jolivet, le comédien s'essaye au film d'époque (L'odeur de la mandarine, En mai fais ce qu'il te plaît, Chocolat).

Acteur fidèle, Olivier Gourmet retrouve les frères Dardenne autour du mystère de La fille inconnue, sélectionné à Cannes, et renoue avec Stephan Streker le temps des Noces, trois ans après Le monde nous appartient. 2017 est pour lui l'année des frissons ; il se frotte à la fiction télévisée dans le thriller franco-suédois Jour polaire avec Leila Bekhti, est propriétaire d'une entreprise de pompes funèbres à l'agonie dans Grand Froid et tente de conserver le Secret de la chambre noire dans l'inquiétant drame de Kiyoshi Kurosawa, dans lequel il retrouve Tahar Rahim.

Tournant avec un rythme impressionnant, l'acteur prend part aux films historiques Un peuple et son roi, Edmond, De Gaulle, Eugénie Grandet, Simone, le voyage du siècle et Fanon, aux thrillers Tueurs et Rouge, ainsi qu'aux comédies et comédies dramatiques Colocs de choc et Les Tortues. Dans le drame Ceux qui travaillent, il trouve l'un de ses meilleurs rôles, celui d'un cadre supérieur dans une grande compagnie de fret maritime. Dans le film d'action Farang, il incarne un terrifiant mafieux. Côté séries, il prend part à Moloch, Oussekine, De Grâce et Nero.