José Giovanni, passionné de montagne, s'engage dans le mouvement "Jeunesse et montagne" et y reste en qualité de guide de 1942 à 1944. Militant au PPF (Parti populaire français), il est poursuivi en 1948 pour collaboration et condamné à mort pour trois assassinats. L'année suivante, il est gracié par le président de la République Vincent Auriol et condamné à vingt ans de travaux forcés. Finalement, il sort libre de la centrale de Melun en 1956. Il a en tout passé onze ans et demi derrière les barreaux.

Il débute sa carrière en tant qu'écrivain avec Le Trou. En 1959, Jacques Becker, séduit, décide d'adapter le roman sur grand écran : ainsi naît Le Trou, dont José Giovanni est conseiller technique et dialoguiste. C'est le début d'une triple carrière où il est à la fois écrivain et scénariste-dialoguiste pour Claude Sautet (Classe tous risques, 1960), Jean Becker (Un nommé La Rocca, 1961), Robert Enrico (Les Grandes gueules, 1965), Jean-Pierre Melville (Le Deuxième souffle, 1966) ou encore Henri Verneuil (Le Clan des Siciliens, 1969).

Au milieu des années 1960, il se lance lui-même dans la réalisation. Confirmant son penchant pour le "film noir", il tourne avec les plus grands : Lino Ventura (Le Rapace, 1968 ; Le Ruffian, 1983), Claudia Cardinale et Jean-Paul Belmondo (La Scoumoune, 1972) et surtout Alain Delon (Deux hommes dans la ville, 1973 ; Le Gitan, 1974 ; Comme un boomerang, 1976). En 1988, José Giovanni, qui alterne désormais cinéma et télévision, réalise Mon ami le traïtre, qu'il co-écrit avec Alphonse Boudard.

S'ensuit alors une longue parenthèse de douze ans durant laquelle il se consacre surtout à l'écriture. En 2000, il revient derrière la caméra en signant Mon père, il m'a sauvé la vie, adapté de son livre autobiographique Il avait dans le coeur des jardins introuvables.