Patrová kaple je v českém prostoru ojedinělá stavba románské a ranně gotické architektury a zachovala se do současnosti bez podstatných změn. První zpráva o kapli je z roku 1213. Zasvěcena byla sv. Erhardovi, sv. Martinovi a sv. Uršule. Obdélná budova je vystavěná z lomového kamene v místech staršího slovanského hřbitova a svatyně. Dolní kaple sv. Martina je zapuštěná 1,5 m pod úrovní okolního terénu. Křížovou klenbu čtvercové lodi nesou čtyři masivní granitové sloupy. Po dvou schodech lze vstoupit do chóru, zúženého z obou stran sakristiemi. Obdélná románská okénka v chóru, poskytující jen orientační světlo, byla objevena pod omítkou až v letech 1996-1998. Gotické okno v čele bylo vsazeno po stavebních úpravách ve 14. století, jeho současné dříky s růžicí jsou výsledkem restaurování v roce 1960. Horní kaple byla přístupná jednak zvenčí západním portálem od paláce, jednak po vnitřním schodišti. Horní kapli zdobí štíhlé sloupy z mramoru a křížová klenba je goticky lomená. V prostředním poli je vedle klenáku otvor pro provaz od zvonku v sanktusní věžičce snesené v roce 1645. Okna a výzdoba hlavic jsou čistě románské. Střecha kaple je šindelová, v roce 2005 byly na kapli z důvodu odvodnění osazeny okapy.