Fraîchement sorti de l'académie de police, Frank Serpico commence son service à New York avec une forte idéologie et les valeurs qui lui sont propres. Mais il se rend vite compte qu'il entre dans une vaste machine à corruption. Ne se laissant aller au petit jeu des pots-de-vin, il est rapidement isolé au sein de sa brigade. Alors qu’il s’apprête à révéler ses découvertes au grand jour, aux yeux de ses collègues, Serpico n'est qu'un traître.
Deux flics des stups, Buddy Russo et Jimmy Doyle, dit Popeye, se retrouvent sur la piste d’une grosse livraison d’héroïne en provenance de Marseille. De planques en filatures, d'arrestations en courses-poursuites dans les rues de New York, Popeye et Russo vont démanteler ce que les archives du crime appellent désormais... la French Connection.