Phil, 17 ans, vit avec sa mère et sa soeur jumelle dans un vieux manoir aux abords de la ville. De retour à la maison après ses vacances estivales, Phil se rend compte que l'atmosphère y a changé. Phil ne s'en soucie guère, passe du temps avec sa meilleure amie, Kat. Et se sent irrésistiblement attiré par un mystérieux nouvel étudiant.
Paterson vit à Paterson, New Jersey, cette ville des poètes - de William Carlos Williams à Allen Ginsberg – aujourd’hui en décrépitude. Chauffeur de bus d’une trentaine d’années, il mène une vie réglée aux côtés de Laura, qui multiplie projets et expériences avec enthousiasme et de Marvin, bouledogue anglais.