Smith palveli merivoimien reservissä ja oli sijoitettuna Havaijille laivaston All-Weather Training Unit-Pacific -lentokoulutusyksikköön Honolulun lähellä. Sattumalta tavattuaan näyttelijä James Cagneyn häntä kannustettiin kokeilemaan uraa Hollywoodissa. (Cagney oli rohkaissut myös muita nuoria näyttelijöitä, joille hän löysi roolit kahdessa elokuvassa vuonna 1956). Myöhemmin hän näytteli Cagneyn hahmon poikaa elokuvassa Tuhansien kasvojen mies.
Smith solmi sopimuksen Columbia Picturesin kanssa 1957 ja teki useita elokuvia, minkä jälkeen hän siirtyi Warner Bros:lle 1958. 16. huhtikuuta 1958 Smith esiintyi Charles Bickfordin kanssa NBC:n Wagon Train -ohjelmassa ”The Daniel Barrister Story”. Hänen suurin elokuvahahmonsa oli aikuisen Patrick Dennisin rooli Auntie Mame -elokuvassa Rosalind Russellin kanssa.
Hänen tunnusomainen tv-roolinsa oli yksityisetsivä Jeff Spencer elokuvassa 77 Sunset Strip.
Smith esiintyi 74 jaksossa Warner Bros. sarjassa. Hänen suosionsa vuoksi sarjassa Warner Bros. julkaisi yhden Smithin LP-albumin nimeltä Beach Romance Warner Bros. Records WS 1305, kesäkuussa 1959. Hän jätti suositun ABC:n ohjelman vuonna 1962 aivoihinsa tulleen veritulpan vuoksi. Siitä hän toipui leikkauksen jälkeen.
Ennen kuin hän sai roolin toisessa televisiosarjassa, Smith sanoi joutuneensa ”taistelemaan tieni takaisin pisteestä, jossa olin melkein päättänyt luopua näyttelemisestä”. Sen jälkeen hän näytteli luutnantti Douglas Robertsia NBC-televisiossa vuosina 1965-1966 esitetyssä komedia-draamasarjassa Mister Roberts.
Hän tuotti Allan Carrin kanssa kaksi elokuvaa, The First Time (1969) ja C.C. and Company (1970), jotka hän myös käsikirjoitti.
Hänen terveytensä heikkeni, ja vuonna 1980 hänellä diagnosoitiin vaimonsa Ann-Margretin mukaan myasthenia gravis, neuromuskulaarinen sairaus.
Hänen sairautensa meni remissioon vuonna 1985. Eläkkeelle jäätyään esiintymisestä hän hoiti vaimonsa uraa ja tuotti tämän suosittuja Las Vegasin lavaesityksiä. New York Postin haastattelussa Ann-Margret kertoi, että hänellä oli Parkinsonin tauti. Hän esiintyi harvoin televisiossa terveytensä heikentyessä, vaikka osallistuikin This Is Your Life -ohjelmaan, jonka juontaja Ralph Edwards omisti jakson Ann-Margretille. Alla mainittujen esiintymisten lisäksi Smith esiintyi useissa peliohjelmissa.