Alors qu'il est étudiant, Gérard Klein entre à Inter Service Route avant de passer à l'antenne en 1967 sur France Inter. Il continue son parcours d'animateur radiophonique sur RTL de 1968 à 1972, puis se retrouvera sur les ondes de RMC ou d'Europe 1.

Sa carrière au cinéma ne décolle qu'en 1981 avec La Passante du Sans-Souci de Jacques Rouffio, adaptant le roman éponyme de Joseph Kessel. L'année suivante, il tient son premier rôle principal dans Le Bâtard de Bertrand van Effenterre, dont il signe la bande originale. En 1983, il est à l’affiche des Cavaliers de l'orage avec Marlène Jobert et fait se succéder les longs-métrages dans la première moitié des années 1980 avec Blanche et Marie de Jacques Renard (1984), Train d'enfer de Roger Hanin, Parking de Jacques Demy et Diesel de Robert Kramer en 1985.

En 1986, il se lance dans le registre de la comédie avec Mon beau-frère a tué ma sœur de Jacques Rouffio dans lequel il interprète un journaliste radio. Il commence à la même période à la télévision dans des téléfilms et les séries télévisées Marie Pervenche et Le Vent des moissons. En 1988, il suit les tribulations du chevalier Sans peur et sans reproche sous la direction de Gérard Jugnot. La même année, on le retrouve aux côtés d'Harrison Ford dans le Frantic de Roman Polanski.

C'est en 1993 que sa carrière effectue un tournant spectaculaire. Dans Pourquoi maman est dans mon lit ? de Patrick Malakian, il joue le rôle d'un professeur faisant face à des problèmes familiaux. Le film marque sa dernière apparition au cinéma avant une très longue absence, puisqu'il va être accaparé par le petit écran.

C'est sans nul doute son personnage de Victor Novak - un rôle proposé par Pierre Grimblat -, dans la série télévisée L'Instit qui impose définitivement Gérard Klein comme un grand acteur populaire. La série s'arrêtant en 2005, il aura tenu ce rôle pendant 12 ans. En parallèle, il devient l'animateur de l'émission éducative Va savoir, puis de différentes émissions durant les années 2010.

Absent du grand écran depuis 1994, il renoue avec le cinéma grâce à 600 kilos d'or pur (2010), un film d'aventures dans lequel il fait une courte apparition.