Smith a haditengerészeti tartalékosoknál szolgált, és Hawaii-on állomásozott a flotta minden időjárási viszonyokat kiképző egységénél, a Honolulu melletti repülőgép-képző egységnél. Egy véletlen találkozás után James Cagney színésszel arra biztatták, hogy próbálja meg a hollywoodi karriert. (Cagney más fiatal színészeket is bátorított, akiknek két 1956-os filmben is szerepet talált). Később Cagney karakterének fiát alakította az Ezerarcú emberben.
Smith 1957-ben leszerződött a Columbia Pictures-hez, ahol több filmet készített, majd 1958-ban a Warner Bros-hoz került. 1958. április 16-án Smith Charles Bickforddal együtt szerepelt a “The Daniel Barrister Story” című filmben az NBC Wagon Train című műsorában. Legnagyobb filmes ismertsége a felnőtt Patrick Dennis szerepe volt az Auntie Mame-ben, Rosalind Russell oldalán.
A televíziós szerepe Jeff Spencer magánnyomozó volt a 77 Sunset Strip-ben. 951 Smith 74 epizódban szerepelt a Warner Bros. sorozatában. A sorozatban való népszerűsége miatt a Warner Bros. kiadott egy LP albumot Smith-től Beach Romance címmel a Warner Bros. Records WS 1305 címmel 1959 júniusában. A népszerű ABC-műsort 1962-ben hagyta ott, mert vérrög keletkezett az agyában. Ebből műtét után gyógyult fel.
Mire szerepet kapott egy másik tévésorozatban, Smith azt mondta, hogy “vissza kellett küzdenie magát egy olyan pontról, ahol már majdnem eldöntöttem, hogy feladom a színészetet”. Ezután Douglas Roberts hadnagy szerepét játszotta a Mister Roberts című vígjáték-dráma sorozatban az NBC TV-n 1965-1966-ban.
Az Allan Carrral két filmet készített, a The First Time (1969) és a C.C. and Company (1970) címűeket, amelyeket szintén ő írt.
Egészsége megromlott, és 1980-ban – felesége, Ann-Margret szerint – myasthenia gravisszal, egy neuromuszkuláris betegséggel diagnosztizálták.
Az állapota 1985-ben remisszióba került. Miután visszavonult a színészkedéstől, menedzselte felesége karrierjét, és producerként működött közkedvelt Las Vegas-i színpadi műsoraiban. A New York Postnak adott interjújában Ann-Margret azt mondta, hogy Parkinson-kórban szenved. Egészsége megromlása után ritkán szerepelt a televízióban, bár részt vett a This Is Your Life című műsorban, amikor a műsorvezető Ralph Edwards egy epizódot szentelt Ann-Margretnek. Az alább felsorolt szerepléseken kívül Smith több vetélkedőben is szerepelt.