Smith sirvió en la Reserva Naval y estuvo destinado en Hawai en la Fleet All-Weather Training Unit-Pacific, una unidad de entrenamiento de vuelo cerca de Honolulu. Tras un encuentro fortuito con el actor James Cagney, le animaron a intentar una carrera en Hollywood. (Cagney también había animado a otros jóvenes actores para los que encontró papeles en dos películas de 1956). Más tarde interpretó al hijo del personaje de Cagney en El hombre de las mil caras.
Smith firmó con Columbia Pictures en 1957 e hizo varias películas, luego se trasladó a Warner Bros. en 1958. El 16 de abril de 1958, Smith apareció con Charles Bickford en «The Daniel Barrister Story» en el programa Wagon Train de la NBC. Su mayor exposición cinematográfica fue el papel del adulto Patrick Dennis en Auntie Mame, con Rosalind Russell.
Su papel estrella en televisión fue el del detective privado Jeff Spencer en 77 Sunset Strip.:951 Smith apareció en 74 episodios de la serie de Warner Bros. Debido a su popularidad en la serie, Warner Bros. lanzó un álbum en LP de Smith titulado, Beach Romance en Warner Bros. Records WS 1305, en junio de 1959. Dejó el popular programa de la ABC en 1962 debido a un coágulo de sangre en el cerebro. Se recuperó de ello tras una intervención quirúrgica.
Antes de obtener un papel en otra serie de televisión, Smith dijo que tuvo que «luchar para volver desde un punto en el que casi había decidido dejar de actuar». Luego protagonizó el papel del teniente Douglas Roberts en Mister Roberts, una serie de comedia-drama en la NBC-TV en 1965-1966.
Produjo dos películas con Allan Carr, The First Time (1969) y C.C. and Company (1970), que también escribió.
Su salud empeoró y en 1980, según su esposa Ann-Margret, le diagnosticaron miastenia gravis, una enfermedad neuromuscular.
Su enfermedad remitió en 1985. Tras retirarse de la actuación, dirigió la carrera de su esposa y produjo sus populares espectáculos en Las Vegas. En una entrevista con el New York Post, Ann-Margret dijo que tenía la enfermedad de Parkinson. Apareció poco en televisión tras el deterioro de su salud, aunque participó en This Is Your Life, cuando el presentador Ralph Edwards dedicó un episodio a Ann-Margret. Además de las apariciones acreditadas a continuación, Smith apareció en varios programas de juegos.