I 1830 byggede Fountain Branch Carter et murstenshus i halvanden etage lige syd for Franklins centrum til sin lille familie. Han og hans kone Polly fik tolv børn, hvoraf otte nåede voksenalderen. Sønnerne omfattede Moscow Branch (1825), James Fountain (1831), Theodrick IV “Tod” (1840) og Francis Watkins (1842). Døtrene var Mary Alice (1835), Sarah Holcomb (1837), Annie Vick (1838) og Frances Hodge (1844).
Men Fountain havde haft succes med at drive en forretning i byen, men efter opførelsen af sit nye hjem fik han mulighed for at drive landbrug. På bare tyve år voksede Carter-gården fra nitten acres til to hundrede og firsomhundrede otteogtyve acres. Fountain tilføjede også en bomuldscentrifuge, som øgede gårdens værdi og produktion enormt.
Den 30. november 1864 rasede slaget ved Franklin over markerne syd for byen, der gav ar på landskabet, krævede tusindvis af menneskeliv og ændrede livet på Carter-gården for altid.
Hvor daggry vækkede den føderale brigadegeneral Jacob D. Cox familien Carter, tog huset i besiddelse og gjorde stuen til sit hovedkvarter. Kampene begyndte kl. 16.00 i det aftagende eftermiddagssollys, da 20.000 konfødererede angreb et tilsvarende antal forskansede føderale soldater. Carter-familien, en nabofamilie og flere Carter-slaver søgte tilflugt i det nordlige rum i kælderen, mens slaget rasede omkring deres hjem.