Originaire de New York, Ralph Nelson manifeste très tôt un vif intérêt pour le théâtre; il remporte même un concours organisé par le New York Times en 1932. Toujours attiré par les planches, il fait ses débuts professionnels à Broadway, en jouant notamment les pièces de William Shakespeare. C'est là qu'il rencontre et travaille avec les grands noms du théâtre d'alors, comme Leslie Howard ou Katharine Cornell. Mobilisé durant la Seconde guerre mondiale dans l'U.S Air Force, il finiera au rang de capitaine instructeur de vol, tout en ayant en charge la troupe théâtrale de l'armée pour laquelle il monte une pièce, "The Wind is Ninety". Il remportera d'ailleurs pour sa mise en scène un prix donné par la National Theater Conference.

Dans les années 1950, considérées comme l'âge d'or du petit écran aux Etats-Unis, il travaille pour la télévision d'abord comme acteur, puis rapidement comme producteur de programmes et réalisateur de diverses fictions. En 1957, il signe une variation musicale de Cendrillon, dont le livret est composé par un des grands spécialistes du genre, Oscar Hammerstein II, et confie le rôle-titre à la jeune Julie Andrews. La même année, il met en scène la fiction Blood Money, dans laquelle deux jeunes acteurs encore débutants se donnent la réplique : Michael Caine et Sean Connery.

Ce n'est qu'en 1962 qu'il passe au grand écran, avec Requiem pour un champion, pour lequel Anthony Quinn accepte le rôle-titre, alors que le tournage de Lawrence d'Arabie est interrompu pour deux mois. L'année suivante, il fait un triomphe avec un petit film tourné en seulement 14 jours : Le Lys des champs. Le film permet à Sidney Poitier, qui avait accepté de baisser son salaire pour tourner le film, de remporter l'Oscar du Meilleur acteur.

Après une série de films à succès (La Dernière bagarre, Le Crash mystérieux et Grand méchant loup appelle), il met en scène le polar Les Tueurs de San Francisco, au solide casting : Alain Delon, Ann-Margret, Van Heflin et Jack Palance se partagent ainsi la vedette. Cinéaste éclectique, il aborde en 1966 le genre du western avec La Bataille de la vallée du diable, pour lequel il retrouve Sidney Poitier. Si le film est un succès, certains lui reproche ses excès de violence. En 1968, il porte à l'écran le brillant et bouleversant roman SF de Daniel Keyes "Des fleurs pour Algernon", sous le titre Charly. La performance de Cliff Robertson, qui campe le personnage principal, est saluée par l'Oscar du Meilleur acteur.

Le thème du racisme n'a jamais cessé d'irriguer la filmographie de Nelson. Il l'explore notamment avec ...Tick... Tick... Tick... et surtout avec Soldat bleu : le film retrace l'abominable massacre en 1864 de 700 Cheyennes, femmes et enfants compris, par la cavalerie américaine. En 1975, Le Vent de la violence est l'un des premiers films à évoquer le drame de l'Apartheid en Afrique du Sud. Après deux autres longs métrages qui remportent moins de succès, Ralph Nelson termine sa carrière par là ou il l'avait commencé : à la télévision.