Smith gjorde tjeneste i flådens reserve og var udstationeret på Hawaii ved Fleet All-Weather Training Unit-Pacific, en flyvetræningsenhed nær Honolulu. Efter et tilfældigt møde med skuespilleren James Cagney blev han opfordret til at forsøge sig med en karriere i Hollywood. (Cagney havde også opmuntret andre unge skuespillere, som han fandt roller til i to film fra 1956). Han spillede senere Cagneys figurs søn i Man of a Thousand Faces.
Smith skrev kontrakt med Columbia Pictures i 1957 og lavede flere film, hvorefter han skiftede til Warner Bros. i 1958. Den 16. april 1958 optrådte Smith sammen med Charles Bickford i “The Daniel Barrister Story” på NBC’s Wagon Train. Hans største filmbillede var rollen som den voksne Patrick Dennis i Auntie Mame med Rosalind Russell.
Hans signaturrolle på tv var privatdetektiven Jeff Spencer i 77 Sunset Strip.951 Smith medvirkede i 74 episoder af Warner Bros. serien. På grund af hans popularitet i serien udgav Warner Bros. et LP-album med Smith med titlen Beach Romance på Warner Bros. Records WS 1305, i juni 1959. Han forlod det populære ABC-program i 1962 på grund af en blodprop i hans hjerne. Han kom sig efter en operation.
Hvor han fik en rolle i en anden tv-serie, sagde Smith, at han måtte “kæmpe mig tilbage fra et punkt, hvor jeg næsten havde besluttet mig for at opgive skuespillet”. Han spillede derefter hovedrollen som Lt. Douglas Roberts i Mister Roberts, en komedie-dramaserie på NBC-TV i 1965-1966.
Han producerede to film sammen med Allan Carr, The First Time (1969) og C.C. and Company (1970), som han også skrev.
Hans helbred blev dårligere, og i 1980 blev han ifølge hustruen Ann-Margret diagnosticeret med myasthenia gravis, en neuromuskulær sygdom.
Hans tilstand gik i remission i 1985. Efter at han havde trukket sig tilbage fra at optræde, forvaltede han sin kones karriere og producerede hendes populære sceneshows i Las Vegas. I et interview med New York Post sagde Ann-Margret, at han havde Parkinsons sygdom. Han optrådte sjældent på tv, efter at hans helbred blev forværret, selv om han deltog i This Is Your Life, hvor værten Ralph Edwards dedikerede et afsnit til Ann-Margret. Ud over de optrædener, der er krediteret nedenfor, optrådte Smith i flere gameshows.