Verlaten in 1846, het landgoed zag af en toe bewoners. Volgens krantenberichten werden enkele huizen bewoond en werd één huisje kort gerestaureerd als “Delisle Inn”; maar de meeste gebouwen bleven grotendeels ongebruikt. Het landgoed ging via familieleden over tot 1901, toen het werd gekocht door Arthur Brisbane. Arthur Brisbane gebruikte een aantal van de gebouwen als woningen tot het einde van de jaren 1920.
Beginnend rond 1900, werd het dorp gebruikt als decor voor stomme films. De meest opmerkelijke film die het decor gebruikte was Lilac Time. In 1929 werd 800 acres van het gebied dat bekend was geworden als “Deserted Village” verhuurd aan de Monmouth County Boy Scouts voor zomerkamperen. Het kamp werd “Camp Burton at Allaire” genoemd. Toen de padvinders het gebied overnamen, waren de verlaten gebouwen behoorlijk vervallen. De padvinders werkten samen met andere organisaties voor de eerste restauratie van veel van de structuren. Bijvoorbeeld, de Asbury Park Kiwanis club hielp met de restauratie van de winkel; de Foreman’s cottage werd gerestaureerd door de St. James Church in Red Bank (het diende als eerste hulp hut tijdens kamperen en programma’s); de Belmar Kiwanis club legde een atletiek veld aan. De kampeerterreinen stonden ook open voor andere organisaties, zoals de padvindsters, 4-H, vrijmetselaars en anderen. Tijdens de depressie werd het gebied gebruikt als kamp voor het Civilian Conservation Corps. Na de dood van Arthur Brisbane verloor de gemeente het gebruik van het terrein en het seizoen 1940 was het laatste seizoen. Aan de zijkant van de General Store is een gedenkplaat aangebracht met een eerbetoon aan het BSA-programma in deze periode.
In 1941 schonk mevrouw Phoebe C. Brisbane (de weduwe van Arthur Brisbane) het terrein aan de staat om er een recreatiepark van te maken ter nagedachtenis aan haar man. De staat New Jersey gaf het Ministerie van Oorlog toestemming om tijdens de Tweede Wereldoorlog een nagebouwde “Duitse stad” op het terrein te bouwen voor de training van de troepen in Fort Monmouth. Wegens gebrek aan restauratiemiddelen gaf de staat New Jersey het landgoed voor 25 jaar in erfpacht uit aan de non-profit organisatie “Deserted Village of Allaire”, die in het midden van de jaren 1950 met de restauratie begon. De aanvankelijke 11 leden tellende raad van beheer bestond uit een lid dat eigenlijk een afstammeling was van James Allaire; Edwin B. Allaire was lid van de raad in 1957.
De pogingen om fondsen te werven voor de restauratie begonnen rond 1952. De gebouwen en het eigendom bleven ongebruikt tot er in 1957 restauratiefondsen beschikbaar kwamen. Op dat moment was het terrein opnieuw overwoekerd door vegetatie en waren de gebouwen in verval geraakt. De smederij en de winkel werden het eerst gerestaureerd. Daarna werden de stallen en de bakkerij gerestaureerd. De stallen werden gerestaureerd met de bedoeling er een manege van te maken. Het Allaire Dorp werd in juni 1957 als staatspark aangewezen en op 24 mei 1958 officieel heropend door gouverneur Robert B. Meyner. Het museum werd opgericht dankzij de inspanningen van de New Jersey State Federation of Woman’s Clubs in 1958. Hoewel de restauratie van het dorp nog niet is voltooid, maken de overgebleven gebouwen, de interpretatieprogramma’s op basis van een groot aantal beschikbare primaire documenten en zelfs het landschap Allaire Village tot een zeldzame bron. Hierdoor kunnen bezoekers de krachten die de industriële macht van New Jersey in de vroege 19e eeuw vorm gaven, ervaren en beter begrijpen.