Fille d'un représentant de commerce, Carroll Baker a 8 ans lorsque ses parents se séparent. Après avoir suivi sa scolarité en Pennsylvanie puis en Floride, elle débute dans le monde du spectacle comme danseuse et assistante de magicien. Elle fait une première -et brève- apparition à l'écran en 1953 dans Désir d'amour, décroche des rôles à Broadway, et tourne dans des publicités. Installée à New York, elle intègre en 1954 l'Actor's Studio, où elle a pour professeur Lee Strasberg. Elle s'y éprend d'un autre étudiant, Jack Garfein, qui deviendra son deuxième époux et le directeur de la fameuse école de comédie.

Refusant les grands rôles qu'on lui propose au cinéma, Carrol Baker, encore peu sûre d'elle, préfère accepter un personnage secondaire, celui de la petite amie de James Dean -qu'elle a connu à l'Actor's Studio- dans Géant de George Stevens en 1956. Elle enchaîne avec le film qui la rendra célèbre : Baby Doll d'Elia Kazan. Elle y incarne une troublante femme-enfant mariée à un exploitant de coton qui pourrait être son père, dans la moiteur du Sud des Etats-Unis. Ce personnage écrit par Tennessee Williams, et pour lequel Marilyn Monroe fut pressentie, lui vaut en 1957 une nomination à l'Oscar de la Meilleure actrice et un Golden Globe du Meilleur espoir, partagé avec Natalie Wood et Jayne Mansfield. L'Eglise et les ligues de vertu condamnent vigoureusement le portrait de cette affolante Lolita suçant son pouce dans son lit.

La nouvelle étoile d'Hollywood brille dans plusieurs westerns, comme Les Grands espaces de William Wyler ou La Conquête de l'Ouest et Les Cheyennes de John Ford. Partenaire de Roger Moore ("The Miracle"), Clark Gable (But not for me) ou Robert Mitchum (L’Aventurier du Kenya), elle incarne une star de cinéma en 1964 dans Les Ambitieux. Après le polar Sylvia, elle se glisse dans la peau d'un autre sex-symbol blond, Jean Harlow, dans un biopic sorti en 1965. Séparée de Jack Garfein (qui lui fit jouer une femme violée dans Au bout de la nuit en 1961) et peinant à renouer avec le succès de ses débuts, elle part vivre en Europe à la fin des années 60. En Italie, elle tourne sous la direction du provocateur Marco Ferreri et enchaîne les films de genre à petit budget, souvent signés Umberto Lenzi.

De retour aux Etats-Unis à la fin des annés 70, elle est l'héroïne d'une comédie indépendante produite par Andy Warhol puis d'un film d'épouvante issu des studios Disney, Les Yeux de la Forêt, avec Bette Davis. Sans parvenir à relancer sa carrière, elle trouve quelques beaux seconds rôles, celui de la mère de la playmate au destin tragique Dorothy Stratten (Star 80 de Bob Fosse en 1983) ou celui de l'épouse délaissée par un Jack Nicholson alcoolique (Ironweed d'Hector Babenco en 1987). Si ses rares apparitions dans les années 90 se font sur le petit écran, elle affronte Arnold Schwarzenegger dans Un flic à la maternelle (1990) et joue les gouvernantes pour Michael Douglas dans The Game de David Fincher (1997).