Smith a servi dans la réserve navale et a été stationné à Hawaï avec la Fleet All-Weather Training Unit-Pacific, une unité d’entraînement au vol près de Honolulu. Après une rencontre fortuite avec l’acteur James Cagney, il est encouragé à tenter une carrière à Hollywood. (Cagney avait également encouragé d’autres jeunes acteurs pour lesquels il a trouvé des rôles dans deux films de 1956). Il joua plus tard le fils du personnage de Cagney dans L’homme aux mille visages.
Smith signa avec Columbia Pictures en 1957 et tourna plusieurs films, puis passa chez Warner Bros en 1958. Le 16 avril 1958, Smith apparaît avec Charles Bickford dans « The Daniel Barrister Story » dans l’émission Wagon Train de NBC. Sa plus grande exposition au cinéma a été le rôle de l’adulte Patrick Dennis dans Auntie Mame, avec Rosalind Russell.
Son rôle signature à la télévision a été le détective privé Jeff Spencer dans 77 Sunset Strip.:951 Smith est apparu dans 74 épisodes de la série de la Warner Bros. En raison de sa popularité dans la série, Warner Bros. a sorti un album LP de Smith intitulé Beach Romance sur Warner Bros. Records WS 1305, en juin 1959. Il a quitté le programme populaire d’ABC en 1962 à cause d’un caillot de sang dans son cerveau. Il s’en est remis après une opération chirurgicale.
Avant d’obtenir un rôle dans une autre série télévisée, Smith a déclaré qu’il avait dû « se battre pour revenir d’un point où j’avais presque décidé d’abandonner le métier d’acteur. » Il a ensuite joué le rôle du lieutenant Douglas Roberts dans Mister Roberts, une série de comédie dramatique sur NBC-TV en 1965-1966.
Il a produit deux films avec Allan Carr, The First Time (1969) et C.C. and Company (1970), qu’il a également écrits.
Sa santé décline, et en 1980, selon sa femme Ann-Margret, on lui diagnostique une myasthénie grave, une maladie neuromusculaire.
Sa maladie entre en rémission en 1985. Après s’être retiré du monde du spectacle, il a géré la carrière de sa femme et a produit ses spectacles populaires à Las Vegas. Dans une interview accordée au New York Post, Ann-Margret a déclaré qu’il était atteint de la maladie de Parkinson. Il est rarement apparu à la télévision après la détérioration de sa santé, bien qu’il ait participé à l’émission This Is Your Life, lorsque l’animateur Ralph Edwards a consacré un épisode à Ann-Margret. En plus des apparitions créditées ci-dessous, Smith est apparu dans plusieurs jeux télévisés.