France Rumilly naît à Boulogne-Billancourt (Hauts-de-Seine), le 1er mai 1939. Elle effectue ses études dans un couvent ainsi qu’à l’Institut Saint-Vincent-de-Paul. Attirée par l’art dramatique, la jeune fille intègre ensuite une école de théâtre dans l’espoir de devenir comédienne. Au cours de ses études, elle tape dans l’œil du réalisateur Jack Pinoteau qui l’engage pour le segment du film à sketchs Les Veinards, en 1963. Cette première expérience devant une caméra lui permet de donner la réplique à Louis de Funès.

La jeune actrice retrouve le comédien dès l’année suivante avec Le Gendarme de Saint-Tropez dans lequel elle interprète le rôle de l’iconique Sœur Clotilde. Ce personnage devient le plus célèbre de sa filmographie. Elle le reprend par la suite à six reprises : Le Gendarme à New York (1965), Le Gendarme se marie (1968), Le Gendarme en balad (1970), Le Gendarme et les Extraterrestres (1979), Le Gendarme et les Gendarmettes par le tandem Jean Girault / Tony Aboyantz et même dans Le Facteur de Saint-Tropez de Richard Balducci (1985). 

En parallèle de son rôle dans la saga du Gendarme, France Rumilly s’illustre également devant la caméra d’autres cinéastes parmi lesquels Georges Lautner (Ne nous fâchons pas, 1966), Jacques Tati (Playtime, 1967), Gérard Pirès (Elle court, elle court la banlieue, 1973) ou encore Pierre Richard (Je sais rien, mais je dirai tout, 1973).

L’actrice tourne également dans plusieurs séries pour la télévision (Le Tribunal de l’impossible, Les Saintes chéries…) et connaît un joli succès sur les planches dans les années 1970 avec des pièces comme Tu connais la musique ? de Robert Abirached, Le Tube de Françoise Dorin ou Tovaritch de Jacques Deval.

À partir des années 1980, la carrière de France Rumilly commence à décliner. Après quelques apparitions remarquées dans quelques comédies (Sac de nœuds de Josiane Balasko, Suivez mon regard de Jean Curtelin…), la comédienne décide d’arrêter sa carrière pour se consacrer à sa famille, à l’âge de 47 ans, après un dernier rôle dans Twist again à Moscou de Jean-Marie Poiré (1986), aux côtés de Christian Clavier et Philippe Noiret.