Ray Wise débute sa carrière en 1970 dans le soap Love of Life où il officie pendant 6 ans. Après son départ de la série, il découvre les joies de Broadway en jouant dans les pièces Roméo et Juliette et Tartuffe. Il retourne ensuite à la télévision pour ce qui va devenir l’une de ses spécialités : les apparitions en guest dans de nombreuses séries. Il donne alors la réplique aux Drôles de dames, à Barnaby Jones et à Lou Grant.

Wes Craven lui offre en 1982 son premier rôle au cinéma dans La Créature du marais. La même année, il apparaît dans le film La Féline et dans huit épisodes de la série culte Dallas. Acteur prolifique par excellence, il promène son physique inquiétant dans le soap Des jours et des vies et dans une multitude de shows emblématiques des années 80 tels que Hooker, Pour l'amour du risque, Les Deux font la paire, Supercopter, L' Agence tous risques, Côte ouest ou encore Clair de lune. Amateur de science-fiction, il apparaît dans Star Trek : Next Generation et Paul Verhoeven fait appel à lui pour jouer le méchant Leon Nash dans Robocop, l’un des grands succès de 1987 .

Les années 90 commencent sur les chapeaux de roues pour l’acteur, qui est choisi par David Lynch pour rejoindre le casting de sa série Mystères à Twin Peaks. Dans le rôle de Leland Palmer, père tourmenté en deuil de sa fille Laura, Ray Wise est tour à tour émouvant, effrayant et dérangeant. Son interprétation est saluée par la critique et le public qui fait de Leland un personnage culte que Ray Wise interprète à nouveau dans le film Twin Peaks en 1992.

L’acteur partage ensuite son temps entre le cinéma (Bob Roberts, Soleil levant, A toute allure, Powder) et les apparitions à la télévision (Walker, Texas Ranger, Star Trek : Voyager, Sports Night, Beverly Hills). Dans les années 2000, il participe aux séries Charmed, Dawson, JAG, À la Maison blanche et Les Experts où il fait le bonheur des téléspectateurs dans des rôles de méchants ou d’hommes de pouvoir. Il rejoint le casting de la saison 5 de 24 heures chrono où il campe Hal Gardner, Vice-Président des Etats-Unis. Coutumier du changement de registre, il est à l’affiche du potache Sexe attitudes, de l’effrayant Jeepers Creepers 2 ou de l’élégant Good Night, and Good Luck. réalisé par George Clooney.

Le petit écran fait à nouveau appel à son charisme en 2007 pour le rôle du Diable dans Le Diable et moi. Pendant deux saisons, il campe un Satan drôle et charmeur, prêt à tout pour arriver à ses fins. Malgré un emploi du temps bien chargé, Ray Wise multiplie les apparitions dans Numb3rs, Drop Dead Diva, Castle ou Dollhouse. L’annulation du Diable et moi en 2009 n’arrête en rien ce boulimique de travail qui enchaîne les rôles dans Hawaii Five-O, The Good Guys, Mad Men, Psych ou How I Met Your Mother, où il remplace au pied levé l’acteur Eric Braeden pour jouer le père de Robin (Cobie Smulders). En 2011, il interprète à nouveau un homme de pouvoir dans le X-Men: First Class de Matthew Vaughn qui le choisit pour jouer le Secrétaire d'Etat des Etats-Unis.