Dès l'âge de quinze ans, Connie Nielsen fait ses premiers pas de comédienne aux côtés de sa mère dans des spectacles locaux. Excellant dans le chant et la danse, elle est également capable de parler plusieurs langues : l'anglais, l'allemand, le suédois, le danois, le français et l'italien. A 18 ans, elle quitte le Danemark pour voyager à travers le monde, vivant et travaillant entre Paris, Rome, Milan, New York et l'Afrique du Sud. En 1992, elle figure au générique d'une comédie italienne d'Enrico Oldoini, intitulée Vacanze di natale '91.

Connie Nielsen part ensuite aux Etats-Unis où elle est engagée pour jouer aux côtés d'Eric Roberts et Rutger Hauer dans le téléfilm Voyage. Elle auditionne par la même occasion pour le rôle de Kate dans French Kiss, mais n'est pas retenue par le réalisateur Lawrence Kasdan. Ce dernier lui conseille tout de même de persévérer aux Etats-Unis. En 1997, elle participe à sa première grosse production, L'Associé du diable de Taylor Hackford. Dès 1998, elle alterne les genres, enchaînant un drame (Permanent midnight de David Veloz), une comédie (Rushmore de Wes Anderson) et un film de science-fiction (Soldier de Paul Anderson, resté inédit dans les salles françaises). En 2000, Connie Nielsen fait également partie de l'équipage en partance pour Mars dans Mission to Mars de Brian De Palma.

C'est Gladiator (2000) de Ridley Scott qui la révèle véritablement au grand public. Elle incarne dans ce péplum Lucilla, la soeur de l'empereur Commode. En 2002, elle partage, avec Jean-Hugues Anglade, l'affiche de Dark summer, un thriller réalisé par Gregory Marquette. Habituée de ce genre cinématographique, elle fait face à l'inquiétant Robin Williams dans Photo obsession (2002), prête main forte à l'entraîneur des forces spéciales Tommy Lee Jones dans Traqué (2003) et joue les lieutenants enquêteurs aux côtés de John Travolta et Samuel L. Jackson dans Basic (2003) de John McTiernan. En 2005, elle remplace au pied levé Monica Bellucci, au départ pressentie pour donner la réplique à John Cusack et Billy Bob Thornton dans la comédie policière Faux amis (2005) de Harold Ramis.

En 2006, Connie Nielsen joue une journaliste prise dans un triangle amoureux en pleine guerre en Irak dans The Situation et apparaît dans Bataille à Seattle l'année suivante. Durant les années 2010, elle se fait plus discrète au cinéma, même si elle est à l'affiche du film d'anticipation Perfect Sense, du sulfureux Nymphomaniac, du film d'action 3 Days to Kill ou encore du drame Les Confessions. En 2017, la Danoise est choisie pour se glisser dans la peau de la reine Hippolyte dans le blockbuster DC Wonder Woman. Un personnage marquant qu'elle reprend dans Justice League et Wonder Woman 1984. Par ailleurs, elle campe la femme de Bob Odenkirk dans Nobody, un film d'action où la star de Better Call Saul joue un Monsieur-tout-le-monde possédant des compétences guerrières dignes de Jason Bourne.

Parallèlement, Connie Nielsen est présente du côté du petit écran et ses séries. Après avoir incarné la détective Dani Beck le temps de six épisodes de New York Unité Spéciale, elle se glisse dans la peau de la femme du personnage principal de Boss, le maire de Chicago atteint de démence. Suivent des prestations récurrentes dans Following et The Good Wife, puis régulières dans les mini-séries Liberty et I Am the Night.