Zhang Yimou doit suspendre ses études lorsque la Révolution Culturelle Chinoise éclate en 1966. Il passe 3 ans à travailler dans une ferme, puis 7 ans dans un atelier de tissage. Durant ces dures années, il se découvre un véritable amour pour la photographie. Lorsqu'il se présente à l'Institut du Cinéma de Pékin, à sa réouverture en 1978, il est tout d'abord éconduit à cause de son âge qui dépasse de cinq ans l'âge limite d'inscription. Grâce à sa détermination auprès du Ministère de la Culture, il est finalement admis dans la section "prise de vue".

En 1982, nouvellement diplômé, Zhang Yimou participe en tant que directeur de la photographie à son premier film (Un et huit de Zhang Junzhao). Puis il continue avec Terre jaune et La Grande parade, tous deux réalisés par son contemporain et camarade Chen Kaige. Yimou, qui caresse depuis longtemps le désir de passer à la réalisation, voit alors son souhait prendre forme au profit d'un changement de studio. Fort de la promesse de bientôt diriger son propre film, il accepte de jouer le rôle principal dans Le Vieux puits de Wu Tianming. Il obtient le Prix du meilleur acteur au Festival de Tokyo en 1987 et inaugure par là-même la série de récompenses qui vont jalonner sa carrière.

Sa première oeuvre, Le Sorgho rouge, gagne l'Ours d'or au Festival de Berlin de 1998 et lui donne aussitôt un rayonnement international. Ce film est aussi celui qui marque la construction commune de deux carrières : la sienne et celle de son épouse et muse, Gong Li. Chacun de ses films est l'occasion de la mettre en valeur et de prolonger esthétiquement sa contemplation. Après ce premier rôle, il fait jouer l'actrice dans Judou en 1989 et Epouses et Concubines en 1991 (Lion d'argent au Festival de Venise), où il exprime par ailleurs un grand raffinement formel dans la composition du cadre. Il la dirige à nouveau dans le plus spontané Qiu Ju une femme chinoise en 1992 (Lion d'or cette fois), puis dans Vivre (Grand Prix du jury au Festival de Cannes 94) et dans Shanghai Triad en 1995.

Yimou alterne dès lors une approche filmique âpre et réaliste avec Pas un de moins qui remporte le Lion d'or au Festival de Venise 99 et la comédie (Happy times). En 2003, Zhang Yimou s'attaque au wu xian pian, le film de sabre traditionnel de Chine et de Hong Kong, avec Hero pour lequel il dirige Jet Li, Maggie Cheung, Tony Leung Chiu Wai, Zhang Ziyi et Donnie Yen, puis Le Secret des poignards volants avec Takeshi Kaneshiro et Andy Lau. Producteur de 2046 de Wong Kar-Wai, Zhang Yimou continue en parallèle d'alterner projets de grandes ampleurs et oeuvres un peu plus confidentielles. Il réalise ainsi La Cité interdite, plus gros budget de l'histoire du cinéma chinois, puis enchaîne avec Riding alone for thousands of miles au financement nettement plus modeste. Mis à l'honneur par le festival de Cannes lors de sa 60e édition, Zhang Yimou a été choisit pour être l'un des 60 signataires de la collection de courts-métrages Chacun son cinéma. Quelques mois plus tard, le cinéaste était président du jury de la Mostra de Venise, récompensant son compatriote Ang Lee pour le film Lust, Caution.

En 2009, Zhang Yimou réalise le remake de Sang pour Sang des frères Coen, A Woman, A Gun And A Noodle Shop, puis deux ans plus tard livre le film de guerre Sacrifices of war porté par le Britannique Christian Bale. Le metteur en scène s'attaque ensuite à Coming Home, un drame adapté d'un roman dans lequel Gong Li campe une femme amnésique. Variant les genres, Zhang Yimou revient début 2017 avec un blockbuster très ambitieux au casting international. Il s'agit de La Grande Muraille avec Matt Damon, qui est aussi, avec son budget de 135 millions de dollars, le film le plus cher jamais tourné en Chine.