Budova zámku (renesanční tvrze) je jedním z několika prvků historického sídelního areálu pod středověkým hradem Sloup. Podle dochovaných obrazových pramenů z 19. století se jednalo o obdélnou budovu krytou dvěma souběžnými sedlovými střechami a s malým přístavkem krytým sedlovou střechou. Přízemí objektu bylo zděné s hrázděným patrem. K roku 1630 existuje zmínka o opravách objektu. K roku 1733 máme k dispozici popis: kamenné a klenuté přízemí, částečně hrázděné patro a ještě dosti vysoké podkroví, rovněž hrázděné a doplněné prkennou konstrukcí; kolem se rozkládaly dvě zahrady (horní a dolní) se zdí a branami a s domkem zahradníka. V roce 1750 byly k objektu zámku (tvrze) přistavěny stáje a jedna světnička. K roku 1880 se dochoval popis: v místě jsou dvě zahrady ohraničené zdí se zbytky budov a někdejšího skleníku, pod budovou zámku (tvrze) se nachází rozsáhlé sklepní protory, v domě se nacházelo umělecké zařízení z doby Maxů, mimo jiného i dvoje kachlová kamna odněkud sem přenesená. Od druhé světové války byl areál opuštěný a chátral. Mezi lety 1959-1961 došlo k celkové demolici a planýrce okolí.