D'origine mexicaine, Edward James Olmos naît et grandit dans l'Est de Los Angeles. S'il veut devenir dès son plus jeune âge un joueur professionnel de baseball, c'est vers la musique qu'il s'oriente en premier lieu. Chanteur du groupe de rock Pacific Ocean, il se produit durant des années dans plusieurs clubs de L.A. et des environs. Dans le même temps, diplômé en 1964 de la Montebello High School, il intègre l'université locale où il prend ses premiers cours de comédie. Il fait ses débuts au théâtre et apparaît dans les années 70 dans les séries TV à succès de l'époque : Kojak, Starsky et Hutch, Hawaï Police d'état ou encore CHiPs ! En 1978, il se distingue à Broadway avec le spectacle musical Zoot Suit, qui lui vaut une nomination aux Tony Awards. Il reprendra ce rôle dans l'adaptation cinématographique en 1981.

Le grand public le connaît surtout pour son rôle du lieutenant de police Martin Castillo aux côtés de Don Johnson et Philip Michael Thomas dans la série populaire des années 80 Deux flics à Miami. Sa prestation lui permet de remporter un Golden Globe et un Emmy Award. Une fois le show terminé, après 5 ans de bons et loyaux services, Olmos se tourne vers le grand écran. Il décroche en 1988 une nomination pour l'Oscar du Meilleur acteur pour son interprétation du professeur Jaime Escalante dans Stand and Deliver. En 1991, il se met en scène dans son premier long métrage, Sans remission, sur un ancien malfrat qui voit son passé le rattraper à sa sortie de prison. Si les projets ne manquent pas au cinéma - il donne la réplique à Jennifer Lopez dans Selena - , le petit écran lui offre des rôles bien plus intéressants. Il endosse la panoplie du capitaine Salazar dans la mini-série Dead Man's Walk, fait une apparition dans À la Maison blanche et joue dans Burning Season, The Judge et Le Métro de l'angoisse. En 2002, il devient le patriarche de la famille Gonzalez dans American Family, la première série avec un casting entièrement latino-américain, qui restera à l'antenne durant deux saisons.

Le succès est à nouveau au rendez-vous en 2003 avec Battlestar Galactica, le remake de la série de science-fiction des années 70. Il y reprend le rôle du commandant William Adama, tenu auparavant par Lorne Greene. Chef militaire de la flotte transportant les ultimes survivants de l'espèce humaine, il a la lourde responsabilité d'assurer leur protection et de leur trouver un nouveau foyer, en dépit de la menace des Cylons. Durant quatre ans, Ronald D. Moore, aux commandes du show, parvient à tenir en haleine le public. Se préparant à la fin de Battlestar Galactica, Edward James Olmos renoue avec le cinéma en prêtant sa voix à Diablo, le terrifiant doberman du Chihuahua de Beverly Hills.