Na prezidenta s agresivní a destruktivní politikou a minulostí slavného generála žil Andrew Jackson překvapivě poklidný domácí život. Jeho plantáž, Ermitáž, je totiž jedinečným odrazem jeho života a jeho vztahu s manželkou Rachel. Společně žili ve srubu na pozemku, zatímco v dalších budovách sídlilo mnoho zotročených lidí pracujících na plantáži.
Jackson’s Hermitagezaložená v roce 1819, leží na přibližně 1100 akrech zemědělské půdy, kousek od centra města Nashville, TN. Svůj majetek pojmenoval Ermitáž, protože chtěl vytvořit útočiště pro sebe a svou rodinu.
Zpočátku se může Ermitáž zdát jako další příklad královské jižanské architektury, ale skrývá spoustu tajemství, příběhů a – vzhledem k Jacksonovu odkazu a realitě plantáží – duchů.
Na území Ermitáže žilo obvykle asi 140 zotročených lidí. Několik srubů, ve kterých byli ubytováni, se zachovalo a jsou stále přístupné návštěvníkům, archeologové v letech, kdy se nemovitost stala historickou památkou, našli mnoho malých artefaktů…
Jedna věc však musí být ještě objevena: hřbitov pro zotročené lidi. S pohřbenými více než 500 zotročenými jednotlivci spojenými s majetkem během jeho aktivních let, je tedy těžké uvěřit, že umístění hřbitova je stále záhadou.
Výzkumné týmy použily historické záznamy, psy a sondovací tyče, aby se pokusily najít hroby, to vše s neprůkaznými výsledky.
Alfred Jackson žil v Ermitáži déle než kdokoli jiný. Měl na starosti koně a vozy plantáže. Když byla Ermitáž otevřena jako muzeum, Alfred byl dokonce turistickým průvodcem; po emancipaci zůstal jako nájemný farmář. Jeho dům, známý návštěvníkům jako „Alfred’s Cabin“, se nachází velmi blízko hlavní budovy.
Zemřel v roce 1901 a byl pohřben v zahradě sídla poblíž místa, kde leží Andrew a Rachel Jacksonovi a zbytek jejich rodiny.