Smith tjänstgjorde i flottans reservstyrka och var stationerad på Hawaii vid Fleet All-Weather Training Unit-Pacific, en flygutbildningsenhet nära Honolulu. Efter ett slumpmässigt möte med skådespelaren James Cagney uppmuntrades han att försöka göra karriär i Hollywood. (Cagney hade också uppmuntrat andra unga skådespelare för vilka han hittade roller i två filmer från 1956). Han spelade senare Cagneys karaktärs son i Man of a Thousand Faces.
Smith skrev kontrakt med Columbia Pictures 1957 och gjorde flera filmer, och flyttade sedan till Warner Bros. 1958. Den 16 april 1958 medverkade Smith tillsammans med Charles Bickford i ”The Daniel Barrister Story” på NBC:s Wagon Train. Hans största filminspelning var rollen som den vuxne Patrick Dennis i Auntie Mame, med Rosalind Russell.
Hans signaturroll i tv var privatdetektiven Jeff Spencer i 77 Sunset Strip.951 Smith medverkade i 74 avsnitt av Warner Bros-serien. På grund av hans popularitet i serien släppte Warner Bros. ett LP-album med Smith med titeln Beach Romance på Warner Bros. Records WS 1305, i juni 1959. Han lämnade det populära ABC-programmet 1962 på grund av en blodpropp i hjärnan. Han återhämtade sig efter en operation.
För att få en roll i en annan tv-serie sa Smith att han var tvungen att ”kämpa sig tillbaka från en punkt där jag nästan hade bestämt mig för att ge upp skådespeleriet”. Han spelade sedan huvudrollen som löjtnant Douglas Roberts i Mister Roberts, en komedi-dramaserie på NBC-TV 1965-1966.
Han producerade två filmer tillsammans med Allan Carr, The First Time (1969) och C.C. and Company (1970), som han också skrev.
Hans hälsa försämrades och 1980 fick han enligt hustrun Ann-Margret diagnosen myasthenia gravis, en neuromuskulär sjukdom.
Hans tillstånd gick i remission 1985. Efter att han dragit sig tillbaka från skådespeleriet skötte han sin frus karriär och producerade hennes populära scenshower i Las Vegas. I en intervju med New York Post sade Ann-Margret att han hade Parkinsons sjukdom. Han framträdde sällan i tv efter att hans hälsa försämrats, även om han medverkade i This Is Your Life, då programledaren Ralph Edwards ägnade ett avsnitt åt Ann-Margret. Förutom de framträdanden som anges nedan, medverkade Smith i flera spelshower.