Bart Freundlich a choisi le nom de son personnage Aram Finklestein d'après celui de l'écrivain Aram Shroyin. Il explique: "J'adore ce nom typiquement juif new-yorkais. Il convenait parfaitement au personnage."
Bart Freundlich dit s'être inspiré de réalisateurs tels que Woody Allen ou de films tels que Le Lauréat pour Mon babysitter. Il confie :"Ce film démontre aussi l'importance des relations dans nos vies. Que vous soyez blessé ou désespéré, l'important est de ne jamais abandonner. Il faut lâcher prise et laisser place au hasard."
Bart Freundlich a commencé l'écriture de Mon babysitter alors qu'il était encore sur le tournage de Chassé-croisé à Manhattan, son film précédent, avec l'aide de David Duchovny et de sa femme, l'actrice Julianne Moore. Il s'est d'ailleurs inspiré de son idylle avec cette dernière, qui a neuf ans de plus que lui, pour son nouveau film.
A l’inverse de son personnage dans le film, Catherine Zeta-Jones est mariée à un homme qui est de vingt-cinq ans son ainé : l'acteur Michael Douglas.
Bart Freundlich et Tim Perell avaient tous deux travaillé avec Justin Bartha sur le tournage de Chassé-croisé à Manhattan (2004).
Le tournage a eu lieu du 21 avril au 16 juin 2008, avec 12 jours supplémentaires un peu plus tard pour filmer les voyages d'Aram à travers le monde.
Le film a été tourné en grande partie à New York, mais une équipe réduite (une caméra et six techniciens) est partie avec Justin Bartha tourner aux quatre coins du monde : Hong Kong, Bombay, Kenya, Paris, Istanbul...
Le babysitter regarde à la télévision un film canadien en français. Il s'agit de Entre la mer et l'eau douce, un drame de 1967 réalisé par Michel Brault.
La mère du héros, jouée par Joanna Gleason, travaille chez Ralph Lauren. C'est un clin d'œil à la série Friends, dans laquelle l'actrice jouait le rôle de la patronne de Rachel (Jennifer Aniston) chez Ralph Lauren.