Lejendommen blev forladt i 1846 og havde lejlighedsvis beboere. Aviser beretter, at nogle få af husene var beboet, og at en hytte kortvarigt blev restaureret som “Delisle Inn”; men de fleste bygninger stod stort set ubenyttede hen. Ejendommen gik gennem familiemedlemmer indtil 1901, hvor den blev købt af Arthur Brisbane. Arthur Brisbane brugte et par af bygningerne som boliger indtil slutningen af 1920’erne.
Fra omkring 1900 blev landsbyen brugt som kulisse for stumfilm. Den mest bemærkelsesværdige af de film, der brugte kulissen, var Lilac Time. i 1929 blev 800 acres af det område, der var blevet kendt som “den øde landsby”, lejet ud til Monmouth County Boy Scouts til sommerlejr. Lejren blev kaldt “Camp Burton at Allaire”. Da spejderne overtog området, var de forladte bygninger ret nedslidte. Spejderne samarbejdede med andre organisationer om den indledende restaurering af mange af bygningerne. F.eks. hjalp Asbury Park Kiwanis-klubben med restaureringen af den almindelige butik; Foreman’s cottage blev restaureret af St. James Church i Red Bank (den fungerede som førstehjælpshytte under camping og programmer); Belmar Kiwanis-klubben anlagde en idrætsbane. Lejrpladserne var også åbne for andre organisationer som pigespejdere, 4-H, frimurere og andre. Under depressionen blev området brugt som lejr for Civilian Conservation Corps. Efter Arthur Brisbanes død mistede rådet brugen af ejendommen, og sæsonen 1940 var den sidste sæson. Der findes en plakette på siden af General Store med en hyldest til BSA-programmet i denne periode.
I 1941 overdrog fru Phoebe C. Brisbane (Arthur Brisbanes enke) ejendommen til staten med henblik på udvikling til en rekreativ park som et mindesmærke for hendes mand. Staten New Jersey gav krigsministeriet tilladelse til at bygge en fingeret “tysk by” på ejendommen under Anden Verdenskrig med henblik på træning af tropperne på Fort Monmouth. På grund af manglende midler til restaurering gav staten New Jersey en 25-årig lejekontrakt til en nonprofitorganisation kaldet “Deserted Village of Allaire” for at give dem mulighed for at påbegynde restaureringen i midten af 1950’erne. Den oprindelige bestyrelse på 11 medlemmer bestod af et medlem, som faktisk var en efterkommer af James Allaire; Edwin B. Allaire var medlem af bestyrelsen i 1957.
Tilbage omkring 1952 blev der gjort forsøg på at rejse midler til restaurering. Bygningerne og ejendommen lå ubenyttet hen, indtil der blev midler til restaurering til rådighed i 1957. På det tidspunkt var ejendommen igen blevet overvokset med vegetation, og bygningerne var i dårlig stand. Smedegården og den almindelige butik var det første fokus for restaureringen. Herefter blev staldene og bageriet restaureret. Staldene blev restaureret med henblik på at blive et rideakademi. Allaire Village blev indskrevet som en statspark i juni 1957 og officielt genåbnet af guvernør Robert B. Meyner den 24. maj 1958. Museet blev oprettet takket være indsatsen fra New Jersey State Federation of Woman’s Clubs i 1958. Selv om restaureringen af landsbyen endnu ikke er afsluttet, gør de bygninger, der er tilbage, de fortolkningsprogrammer, der er baseret på et væld af tilgængelige primære optegnelser, og selv landskabet Allaire Village til en sjælden ressource. Gennem dem kan de besøgende opleve og bedre forstå de kræfter, der formede New Jerseys industrielle magt i begyndelsen af det 19. århundrede.