V letech 1179–1189 byla postavena třípatrová, 18,5 m vysoká, čtverhranná románská Černá věž z velkých čtverhranných kvádrů z černého tufu z blízké Komorní Hůrky. Tloušťka zdiva v přízemí je přes 3,2 metry, původní vchod byl ve výšce 9 metrů v úrovni prvního patra, osvětleného střílnovitým okénkem. Přízemí bylo původně přístupné pouze z patra pomocí žebříku. Nad prvním patrem bylo plochostropé druhé patro o jediné místnosti a nad ním ještě komora, jejíž původně rovný strop byl za barokní přestavby zaklenut. Všechna patra byla spojena buďto žebříky nebo vnitřním dřevěným schodištěm. Věž původně ukončovalo pravděpodobně cimbuří, později byla zastřešena vysokým krovem s krátkým hřebenem a vikýři po stranách. V roce 1774 byla černá věž opatřena horní cihlovou nástavbou.