Né dans une famille modeste d'Atlantic City, James Avery connaît une enfance difficile qui le transforme en adolescent violent et est rapidement exclu du système scolaire. Pour fuir son milieu, et particulièrement sa mère, il s'engage dans la Navy et part servir au Vietnam.

Une fois démobilisé, James Avery se découvre des prédispositions pour la comédie et tente sa chance à Hollywood. Les années de galère qu'il vit à Los Angeles ne font que renforcer sa ténacité. Il se présente alors à l'audition du Prince de Bel-Air pour le rôle du père de famille, l'autoritaire et robuste Philip Banks, mais également pour le rôle du maître d'hôtel (!). Son mètre quatre-vingt-seize et son autorité naturelle l'aident à s'imposer. Le show dure 6 ans et lui apporte la sécurité financière qui lui avait toujours été refusée. Par la suite, il apparaît régulièrement sur le petit écran (La Loi selon Harry, Charmed...).