Après des études cinématographiques au Neighborhood Playhouse, Mark Rydell choisit pourtant de se consacrer à la musique jazz pendant cinq ans. Au milieu des années 50, après avoir fait ses débuts sur les planches de Broadway et organisé des spectacles pour les militaires américains, il fréquente l'Actor's studio puis se lance dans une carrière télévisée, se distinguant notamment dans le soap-opera Days of our lives.

C'est en 1956 que Mark Rydell fait ses débuts au cinéma en incarnant un maniaque dans Face au crime de Don Siegel, où il côtoie John Cassavetes. S'ensuit alors une longue parenthèse de douze ans durant laquelle il se consacre exclusivement à la réalisation de téléfilms.

En 1968, il réalise son premier long métrage, Le Renard, puis enchaîne un an plus tard avec Reivers, une comédie portée par Steve McQueen et adaptée d'un roman de William Faulkner.

En 1972, Mark Rydell réalise le western Les Cow-boys dans lequel il dirige la légende John Wayne (qu'il fait tuer aux 3/4 du film !). Puis il revient devant la caméra et joue sous la direction de son ami Robert Altman dans le film policier Le Privé. Un retour à la case acteur qui ne l'empêche pas de vite se remettre à la réalisation avec Permission d'aimer, une romance menée par James Caan.

En 1979, Mark Rydell signe The Rose, un film s'inspirant de la vie de Janis Joplin (ici incarnée par Bette Midler qu'il révèle au grand public), prouvant qu'il est à l'aise dans tous les registres. Mais la récompense suprême arrive en 1981 avec La Maison du lac, un drame familial qui réunit Henry Fonda et sa fille Jane, ainsi que Katharine Hepburn, et qui lui vaut une nomination à l'Oscar du Meilleur réalisateur.

En 1984, Mark Rydell dirige Mel Gibson dans La Rivière puis retrouve Bette Midler et James Caan, deux de ses complices, pour For the Boys en 1991. Le drame Intersection (remake américanisé des Choses de la vie), avec Richard Gere et Sharon Stone, et en tant qu'acteur, il apparaît en 1990 dans le Havana de Sydney Pollack puis en 2002 dans Hollywood Ending de Woody Allen.

Plus rare sur les écrans à partir des années 2000, Rydell met en scène son dernier long métrage, Even Money, porté par Kim Basinger et Forest Whitaker (2006). En tant qu'acteur, il fera une dernière apparition dans la comédie Senior Entourage, sortie en 2021.