V roce 1830 postavil Fountain Branch Carter jižně od centra Franklinu jedenapůlpatrový cihlový dům pro svou malou rodinu. S manželkou Polly měli dvanáct dětí, z nichž osm dosáhlo dospělosti. Mezi syny patřili Moscow Branch (1825), James Fountain (1831), Theodrick IV „Tod“ (1840) a Francis Watkins (1842). Dcery byly Mary Alice (1835), Sarah Holcomb (1837), Annie Vick (1838) a Frances Hodge (1844).
Přestože Fountain úspěšně provozoval obchod ve městě, po výstavbě nového domu měl možnost věnovat se farmaření. Během pouhých dvaceti let se Carterova farma rozrostla z devatenácti akrů na dvě stě osmdesát osm. Fountain také přistavěl přádelnu bavlny, která nesmírně zvýšila hodnotu farmy a její produkci.
30. listopadu 1864 zuřila na polích jižně od města bitva u Franklinu, která poznamenala krajinu, vyžádala si tisíce obětí a navždy změnila život na Carterově farmě.
Před rozedněním probudil Carterovu rodinu federální brigádní generál Jacob D. Cox, zmocnil se domu a z obývacího pokoje udělal své velitelství. Boje začaly ve čtyři hodiny odpoledne za slábnoucího odpoledního slunce, kdy 20 000 konfederátů zaútočilo na podobný počet zakopaných federálů. Rodina Carterových, sousední rodina a několik Carterových otroků se uchýlilo do severní místnosti suterénu, zatímco kolem jejich domu zuřila bitva.