Alors qu'Andy Griffith souhaitait devenir un chanteur d'Opéra, il se tourne dans les années 40 vers la musique qu'il étudie et enseigne par la suite. C'est en rencontrant sa future femme-actrice Barbara Edwards qu'il commence à jouer la comédie sur scène. Un de ses sketches, "What it was was football", fut l'un des plus populaires à sa sortie en 1953.

Vivant à New York, il devient en 1984 chroniqueur au Ed Sullivan Show et interprète le rôle de Will Stockdale dans la série télévisée Time for Sergeants, tirée de la pièce de théâtre d'Ira Levin. En 1958, il joue avec son partenaire Don Knotts dans son adaptation au cinéma, qui aura un mauvais accueil à sa sortie. Il gagne cependant son deuxième Tony Awards en 1960 en jouant dans Destry Rides Again à Broadway.

Ses débuts au cinéma ne commenceront vraiment qu'en 1957 dans le provocant Un homme dans la foule d'Elia Kazan. Entre 1959 et 1960, toujours avec Don Knotts, il joue dans la série The Steve Allen Show, diffusé sur NBC.

Son apparition en 1960 dans le sitcom The Danny Thomas Show lui permet de créer sa propre émission The Andy Griffith Show, où il joue Andy Taylor, un gentil et philosophique shérif d'une petite ville des États-Unis. Le show est un véritable succès, régulièrement classé parmi les sitcoms les plus populaires, allant jusqu'à 8 saisons.

En 1968, lorsque sa série s'arrête, Griffith apparaît dans certains long-métrages, dont Hollywood cow-boy avec Jeff Bridges.

En 1972, il crée sa maison de production, qui lui permettra de produire plusieurs films et séries TV. En 1981, il est nominé pour un Emmy Award grâce au téléfilm Murder in Texas. Puis, en 1986, il produit et joue dans Matlock, dont il est le producteur exécutif, ainsi que scénariste et réalisateur sur certains épisodes.

Suite à l'arrêt de Matlock en 1995, il continue de jouer dans certaines séries TV et apparaît sur le grand écran dans des films tels que Agent zero zero, Daddy and Them , Waitress et Play the Game.