Voyage avec mon père est l'adaptation du livre Too Many Men, de l'autrice australienne d'origine germano-polonaise Lily Brett, publié en 1999. Julia von Heinz a découvert l'œuvre de cette écrivaine quand elle avait 16 ans et a lu tous ses livres. Elle a contacté Lily Brett via Facebook pour lui demander si les droits de Too Many Men étaient encore disponibles. Ce qui l'a séduite dans cet ouvrage, c'est "cette histoire d'amour entre un père et sa fille, c'est de voir comment, lors d'un voyage assez court, une relation compliquée peut s’apaiser et se transformer. Le film raconte le chemin que la fille entreprend pour comprendre son père et se réconcilier avec elle-même. Il y a, là, quelque chose d’assez universel, qui nous relie tous à nos parents."
La réalisatrice a travaillé sur l'adaptation du livre avec son mari, John Quester. Un processus long, car le roman fait 700 pages, et de nombreuses versions du scénario ont été nécessaires pour extraire un récit centré sur la relation père-fille. Par ailleurs, il a fallu convaincre l'autrice du livre, Lily Brett, que l'esprit et la tonalité de son œuvre allaient être respectés. Julia von Heinz raconte : "Dans un premier temps, Lily a pensé que de nombreux éléments de son roman auraient dû trouver leur place dans notre adaptation, puis elle a lu chaque nouvelle version et en a longuement discuté avec nous. Petit à petit le roman laissait place au scénario puis au film…"
Pour la réalisatrice, la force du récit réside dans son genre, la comédie dramatique : "un drame qui conserve sa légèreté malgré le sérieux de son propos. C'est l’essence même des livres de Lily Brett, elle est impitoyable avec ses personnages. Dans Too Many Men, elle crée avec Ruth Rothwax un personnage pétri de défauts et englué dans ses problèmes, et c'est précisément pour cette raison qu'on s'attache à elle."
Il était vital pour Julia von Heinz de tourner en Pologne, où se déroule le récit. Avec son mari et leurs enfants, elle s'est rendue en Pologne deux semaines au début de l'écriture, pour suivre les étapes du roman : "Lorsque nous nous sommes retrouvés dans la cour intérieure de la maison où le père de Lily [Brett] avait grandi, quelqu'un est immédiatement venu s'enquérir de ce que nous faisions là. Nous lui avons dit que nous faisions des recherches sur les lieux d'un roman, et il nous a aussitôt donné la carte de son avocat. On voyait bien qu'il y avait du ressentiment, des craintes." Ils sont aussi allés à Auschwitz, où il est interdit de tourner. La réalisatrice a néanmoins eu l'autorisation de filmer la clôture, sur le parking et à l'entrée à un certain moment de la journée. Elle conclut : "C'était une expérience marquante, qui a d’autant plus renforcé notre désir de faire ce film, et dont les effets demeurent et nous encouragent à ne jamais perdre courage."
Julia von Heinz pensait qu'il serait impossible de contacter Lena Dunham pour lui confier le rôle de Ruth. Venue présenter au Festival de Venise son précédent film, Et demain, le monde entier, elle a parlé dans une interview à Variety de son projet d'adapter le livre de Lily Brett, et de son envie de diriger Lena Dunham. Le lendemain de la parution de l'article, l'agent de l'actrice a contacté la réalisatrice pour qu'elle lui envoie le scénario de Voyage avec mon père. La comédienne souligne : "Le fait de me voir proposer un rôle avec des enjeux, y compris ma judéité – qui constitue une grande partie de mon identité et de ma compréhension du monde, mais qui est rarement considérée comme un véritable aspect de l'histoire d'une actrice principale – a été un véritable cadeau".
Quant à Stephen Fry, la réalisatrice raconte : "Ce choix était extrêmement important pour nous, parce que Stephen avait fait lui-même le voyage décrit dans notre film, à la recherche des racines de sa famille juive. C’était important pour moi de travailler sur ce sujet avec des acteurs ayant une approche personnelle des personnages et de leurs origines." La famille de la mère de l'acteur est en effet originaire d'Europe centrale et certains membres sont morts à Auschwitz.