Smith diende bij de Naval Reserve en was gestationeerd in Hawaii bij de Fleet All-Weather Training Unit-Pacific, een vliegopleidingseenheid in de buurt van Honolulu. Na een toevallige ontmoeting met acteur James Cagney, werd hij aangemoedigd om een carrière in Hollywood te proberen. (Cagney had ook andere jonge acteurs aangemoedigd voor wie hij rollen vond in twee films uit 1956). Later speelde hij de zoon van Cagney’s personage in Man of a Thousand Faces.
Smith tekende in 1957 bij Columbia Pictures en maakte enkele films, waarna hij in 1958 naar Warner Bros. overstapte. Op 16 april 1958 verscheen Smith met Charles Bickford in “The Daniel Barrister Story” op NBC’s Wagon Train. Zijn grootste filmbekendheid was de rol van de volwassen Patrick Dennis in Auntie Mame, met Rosalind Russell.
Zijn signatuur televisierol was privé-detective Jeff Spencer in 77 Sunset Strip.:951 Smith verscheen in 74 afleveringen van de Warner Bros. serie. Door zijn populariteit in de serie bracht Warner Bros. in juni 1959 een LP uit van Smith getiteld Beach Romance op Warner Bros. Records WS 1305, in juni 1959. Hij verliet het populaire ABC programma in 1962 vanwege een bloedklonter in zijn hersenen. Hij herstelde hiervan na een operatie.
Voordat hij een rol in een andere televisieserie kreeg, zei Smith dat hij zich moest “terugvechten van een punt waarop ik bijna had besloten om het acteren op te geven.” Daarna speelde hij de hoofdrol als Lt. Douglas Roberts in Mister Roberts, een komedie-dramaserie op NBC-TV in 1965-1966.
Hij produceerde twee films met Allan Carr, The First Time (1969) en C.C. and Company (1970), die hij ook schreef.
Zijn gezondheid ging achteruit, en in 1980 werd bij hem, volgens echtgenote Ann-Margret, myasthenia gravis vastgesteld, een neuromusculaire ziekte.
Zijn ziekte ging in 1985 in remissie. Na zijn pensionering als acteur, leidde hij de carrière van zijn vrouw en produceerde haar populaire Las Vegas shows. In een interview met de New York Post zei Ann-Margret dat hij de ziekte van Parkinson had. Hij verscheen zelden op televisie nadat zijn gezondheid verslechterde, hoewel hij deelnam aan This Is Your Life, toen presentator Ralph Edwards een aflevering aan Ann-Margret wijdde. Naast de hieronder genoemde optredens was Smith te zien in diverse spelshows.