Américain très britannique, James Ivory commence sa carrière de cinéaste en tournant des courts métrages documentaires puis signe son premier long en 1963, The Householder, tourné en Inde. Il quitte le pays au début des années 70 après y avoir réalisé cinq films, dont deux documentaires (The Delhi Way, Adventures of a Brown Man in Search of Civilization).

Dès lors, il se partage entre la Grande-Bretagne et les États-Unis où il enchaîne les productions qui explorent le choc des civilisations (Autobiographie d'une princesse, Les Européens). Quartet, en 1981, lui vaut la reconnaissance de la critique : le film est sélectionné au Festival de Cannes et vaut à Isabelle Adjani le Prix d'interprétation féminine (qui salue également sa performance dans Possession, également en compétition cette année-là).

En 1983, Chaleur et poussière est une nouvelle variation sur le thème de la confrontation entre l'Orient et l'Occident, mais c'est avec Chambre avec vue, étude de caractères sur les mésalliances dues aux conventions sociales, que le cinéaste touche enfin un plus large public. Le film remporte trois Oscars, dont celui du meilleur scénario, et marque la première collaboration entre Ivory et l'une de ses actrices fétiches, Helena Bonham Carter. En 1992 et 1993, Retour à Howards End et Les Vestiges du jour, qui réunissent à deux reprises le couple formé par Anthony Hopkins et Emma Thompson, permettent au réalisateur d'élargir encore plus son audience.

Jugé plus académique pour Jefferson à Paris et Surviving Picasso, James Ivory revient alors aux évocations du passé qui ont fait son succès avec La Fille d'un soldat ne pleure jamais et La Coupe d'or à la fin des années 90. Le réalisateur se fait plus rare la décennie suivante et seul Le Divorce en 2003 et son casting éclectique (Naomi Watts, Kate Hudson, Melvil Poupaud et Thierry Lhermitte) ont droit à une sortie en salles en France.

Disparu des écrans depuis The City of Your Final Destination en 2009, James Ivory remporte presque dix ans plus tard, à l'âge de 89 ans, l'Oscar du meilleur scénario adapté grâce à Call Me By Your Name de Luca Guadagnino tiré du roman d'André Aciman.