Arrière-petit-fils du peintre Vassili Sourikov, petit-fils du peintre Piotre Kontchalovski, fils du poète sovétique Sergueï Mikahalkov, auteur des paroles de l'hymne de l'Union Soviétique ainsi que du nouvel hymne nationale de la Russie, et frère du réalisateur Andrei Konchalovsky, il est l'un des plus importants réalisateur, acteur et producteur russe.

Il commence enfant par faire du théâtre au sein de la troupe du Moscow Art Theatre et plus tard à l'école Schukin du théâtre Vakhtangov. Il apparaît pour la première fois à l'écran dans le film de Georgi Daneliya J'ai marché sur Moscou en 1964. C'est à partir de cette date qu'il deviendra l'un des acteurs les plus réputés de l'âge d'or du cinéma soviétique.

La réalisation viendra cependant à l'âge de 35 ans. Alors qu'il continue sa carrière d'acteur, il rentre à la VGIK, l'école d'état de cinéma à Mosou où il aura comme professeur Mikhail Romm et Andrei Tarkovski. Il réalise en 1974 son premier film Ami chez les ennemis, ennemi chez les siens qu'il écrit et interprète, un western soviétique se déroulant durant la guerre civile de Russie dans les années 1920.

Sa réputation international se fera deux ans plus tard en 1976 avec son deuxième long-métrage Raba lyubvi dont l'action se situe en 1917 et tiré des derniers jours de Vera Kholodnaya, la première actrice du cinéma Russe muet. Il adapte par la suite en 1977 avec Partition inachevee pour piano mecanique d'après Platonov, une pièce de jeunesse de Chekhov. Alors qu'il tourne en 1978 dans le film de son frère Sibériade, il réalise Cinq Soirees.

Il continue dans les années 80 à alterner entre sa carrière d'acteur et de réalisateur. Il met ainsi en scène en 1983 Sans temoin tout en tournant dans Eldar Ryazanov. Avec Les Yeux noirs en 1987, il revient vers le dramaturge Anton Chekhov en adaptant plusieurs de ses courtes nouvelles avec un grand Marcello Mastroiani qui remportera le prix du meilleur acteur au Festival de Cannes et une nomination au Oscars.

Sa carrière internationale continuera des plus belles dans les années 90. Il remporte ainsi en 1992 avec Urga le Lion d'Or au Festival de Venise et est nominé à l'Oscar du meilleur film étranger. Son film suivant, Soleil trompeur réalisé en 1994 connaît un important succès et remporte le Grand Prix au festival de Cannes ainsi que l'Oscar du meilleur film étranger. Ce film sous fond de paranoïa envahissant le peuple russe durant la grande terreur de Joseph Staline reste l'un des films ayant fait le plus d'entrée à l'étranger.

Quatre ans plus tard, le réalisateur russe revient en grande forme avec Le Barbier de Siberie, une grand production de 25 millions de dollars présenté hors compétition lors du Festival de Cannes en 1999. On y voit d'ailleurs l'apparition du réalisateur dans le rôle du Tsar Alexandre III, ce qui fait échos à son désir de vouloir réinstaurer l'esprit de cet époque dans la nouvelle Russie moderne.

Malgré un certain refus provenant d'autre réalisateurs russes, Nikita Mikahalkov réussit tout de même à être élu président de la Société des Réalisateurs Russes. Il vient d'y être reconduit en 2009 grâce à l'aide du président Poutine dont il est l'un des fervents défenseur.

2007 signe son grand retour au cinéma avec 12, une adaptation moderne du film Douze hommes en colère de Sidney Lumet dont la sortie en France n'a été programmé en février 2010.