Issu d'un milieu aisé (son père était ethnologue et sa mère institutrice), Max von Sydow est très vite attiré par le théâtre. Après avoir suivi les cours de l'école d'art dramatique de Stockholm et donné quelques représentations de grands classiques, il fait sa première apparition au cinéma à 20 ans dans Rien qu'une mère, un drame d'Alf Sjoberg. En 1955, il fait la connaissance d'Ingmar Bergman, alors directeur du théâtre de Malmö. De cette rencontre naîtra une collaboration riche et fructueuse. Les deux hommes tourneront en effet 11 films ensemble entre 1957 et 1970, dont : Le Septieme Sceau (prix spécial du jury à Cannes en 1957), Les Fraises sauvages (Ours d'or à Berlin en 1958), Au seuil de la vie (Palme du Meilleur réalisateur à Cannes en 1958), ou encore La Source et A travers le miroir, tout deux Oscars du Meilleur film étranger en 1961 et 1962.

Internationalement reconnu, Max von Sydow débute une carrière à Hollywood, d'abord en 1965 en jouant Jésus dans la fresque historique de George Stevens, La Plus grande histoire jamais contée, puis en 1970 en interprétant un agent russe dans La Lettre du Kremlin (John Huston). Mais surtout, il décroche en 1973, grâce notamment à son physique si particulier, le rôle du Prêtre Lankester Merrin dans le terrifiant L'Exorciste de William Friedkin, énorme succès au box office. Toutefois, loin de dénigrer l'Europe, il tourne également avec des réalisateurs italiens confirmés comme Francesco Rosi (Cadavres exquis, 1976) ou Valerio Zurlini (Le Désert des Tartares, 1976).

Depuis le début des années 80, von Sydow est régulièrement cantonné dans le rôle du méchant de service dans de nombreuses superproductions américaines, plus ou moins réussies, telles que Flash Gordon (Mike Hodges, 1980), Conan le barbare (John Milius, 1982), Jamais plus jamais (avec Sean Connery), Dune (David Lynch, 1984) ou Le Bazar de l'épouvante (Fraser C. Heston, 1993). Après, notamment, des rôles importants dans deux grosses productions très peu rentables (Judge Dredd en 1995 et Vercingétorix : la légende du druide roi en 2001), il renoue avec le succès à 73 ans et se retrouve aux côtés de Tom Cruise à l'affiche de Minority report de Steven Spielberg. Deux ans plus tard, il est le premier comédien invité au Festival de Cannes pour donner sa Leçon d'acteur.

Avec l'âge, Max von Sydow se fait sensiblement plus rare dans les premiers rôles, mais n'en garde pas moins une place importante dans le milieu du cinéma. Il interprète encore de nombreux personnages secondaires, dans le commercial Rush Hour 3, ou le plus prestigieux Le Scaphandre et le papillon. Mais c'est dans les années 2010 que sa carrière retrouve réellement un second souffle. Fort du succès de la série historique Les Tudors, dans laquelle il incarne le Cardinal Von Waldburg, l'acteur enchaîne les collaborations dans des films à grand public, comme Shutter Island, où il interprète un inquiétant médecin d'asile sous la direction de Martin Scorsese, Robin des Bois, où il prête ses traits au personnage de Sir Walter Loxley aux côtés de la vedette Russell Crowe, ou encore Extrêmement fort et incroyablement près, un drame post-11 septembre emmené par le jeune Thomas Horn.

Ce grand retour atteint son paroxysme lorsque la production de Star Wars VII annonce fin avril 2014 qu'il sera au casting pour jouer le voyageur et explorateur Lor San Tekka, proche de la famille Solo. Suite à cela, il sera la Corneille à Trois Yeux dans la série au succès planétaire Game of Thrones, apparaîtra dans le film de Bouli Lanners Les Premiers, les derniers ou dans Kursk de Thomas Vinterberg.