Alors qu'Andy Griffith souhaitait devenir un chanteur d'Opéra, il se tourne dans les années 40 vers la musique qu'il étudie et enseigne par la suite. C'est en rencontrant sa future femme-actrice Barbara Edwards qu'il commence à jouer la comédie sur scène. Un de ses sketches, What it was was football, fut l'un des plus populaire à sa sortie en 1953.
Vivant à New York, il devient en 1984 chroniqueur au Ed Sullivan Show et interprète le rôle de Will Stockdale dans la série télévisée Time for Sergeants tiré de la pièce de théâtre de Ira Levin . En 1958, il joue avec son partenaire Don Knotts dans son adaptation au cinéma, qui aura un mauvais acceuil à sa sortie. Il gagne cependant son deuxième Tony Awards en 1960 en jouant dans Destry Rides Again à Broadway.
Ses débuts au cinéma ne commenceront vraiment qu'en 1957 dans le provocant Un homme dans la foule d'Elia Kazan. Entre 1959 et 1960, toujours avec Don Knotts , il joue dans la série The Steve Allen Show diffusé sur la NBC.
Son apparition en 1960 dans le sitcome Make room for Daddy lui permet de créer sa propre émission The Andy Griffith Show où il joue Andy Taylor , un gentil et philosophique sheriff d'une petite ville des Etats-Unis. Le show est un véritable succès, constamment rangé parmis les sitcoms les plus populaires, allant jusqu'à 8 saisons.
En 1968, lorsque s'arrête son émission, Griffith apparaît dans certains long-métrages, dont Hollywood cow-boy avec Jeff Bridges.
En 1972, il créé sa maison de production qui lui permettra de produire plusieurs films et séries TV. En 1981, il est nominé pour un Emmy Award grâce au téléfilm Murder in Texas . Puis, en 1986, il produit et joue dans la série Matlock dont il est le producteur exécutif, ainsi que scénariste et réalisateur sur certains épisodes.
Série arrétée en 1995, il continue de jouer dans certaines séries TV et apparaît sur le grand écran dans des films tels que Agent zero zero , Daddy and Them et Waitress .
On a pu le voir récemment dans Play the Game au côté de Paul Campbell, inédit en France.