Areál kláštera dominuje jihovýchodní hlavní části Oseka, panský dům čp. 2 je v rámci kláštera v jeho severozápadní části, na západní straně velkého hospodářského dvora. Panský dům čp. 2 je patrová částečně podsklepená zděná hladce omítnutá stavba na zhruba obdélném půdorysu pod sedlovou (na jihu zvalbenou) střechou krytou pálenými bobrovkami na husté laťování s volskými oky a krovem hambalkové soustavy neseným ležatou stolicí. Průčelí mají jednoduchý sokl z pískovcových kvádrů a jsou členěna lizénovými rámy vysokého řádu. Lizény jdou přes obě podlaží, spojeny do rámu jsou pouze nahoře pod poměrně bohatě profilovanou štukovou korunní římsou a na rozhraní mezi podlažími jsou přetaženy krepovanou profilovanou kordonovou římsou, nad níž má každá lizéna po soklu. Okna mají pískovcové šambrány (lemované na vnější straně lištou a na vnitřní odsazeným zaoblením) s profilovanou podokenní římsou. Výplně jsou různé, dvojité ve špaletě osazené dovnitř otvíravé čtyřkřídlé čtyřtabulkové, ve východním průčelí v prvních třech osách v patře tříkřídlé třítabulkové dělené do “T”, v přízemí západního průčelí čtyřkřídlé dvacetitabulkové, v přízemí východního průčelí (až na poslední) osazené v líci fasády, ven a dovnitř otvíravé čtyřkřídlé čtyřtabulkové, pouze v prvních třech osách šestitabulkové. V přízemí jsou okna opatřena mřížemi. Hlavní vstupní východní průčelí je devítiosé se sedmi lizénovými rámy, přičemž prostřední tři osy patří rizalitu o jednom lizénovém rámu. Ve středu tohoto rizalitu, v 5. ose v přízemí je hlavní vstup s dvoukřídlými dovnitř otevíravými levými rámovými dveřmi se šesti výplněmi s třítabulkovým nadsvětlíkem ve zděném omítnutém ostění bez šambrány. Střecha má nad rizalitem jedno volské oko, jižně od něho dvě a severně tři. Zadní západní je devítiosé s devíti lizénovými rámy, se schodišťovým rizalitem v 6. a 7. ose vystupujícím o jednu okenní osu. V první ose má pravé dovnitř otvíravé rámové dveře o čtyřech výplních s třítabulkovým nadsvětlíkem osazené spolu s ním ve zděném ostění se štukovou šambránou stejného profilu jako u oken. v 5. ose jsou dvoukřídlé levé dovnitř otvíravé rámové dveře o čtyřech výplních osazené v pískovcovém ostění stejného profilu jako šambrány oken, s třítabulkovým nadsvětlíkem v pískovcové šambráně téže profilace opatřené mříží. V 7. ose (v rizalitu) jsou v obou podlažích okna osazená v líci fasády ven a dovnitř otvíravá, čtyřkřídlá, čtyřtabulková, to v přízemí bez šambrány. Střecha má nad průčelím sedm volských ok. Jižní boční průčelí je bez otvorů, má jeden lizénový rám, ale z něho má pouze horní část spojující lizény při nárožích v západním a východním průčelí. V dolní části je členěno jako zeď, která pokračuje s odsazením od průčelí na západ (je postavena mezi objektem čp. 486, 489, 490 a panským domem čp. 2) a odděluje vstupní nádvoří od zahrádky za panským domem. Zeď má sokl a profilovanou korunní římsu, která přechází na průčelí panského domu jako římsa kordonová a pokračuje zase jako korunní na zdi s vnitřní branou. Na zdi je jedno a na průčelí dvě vpadlá zrcadla se čtvrtkruhy vykrojenými rohy. V každém zrcadle po dvou na šířku postavených slepých oknech. Horní jsou oválná s šambránami se čtyřmi klenáky a dolní obdélná se čtvrtkruhy vybranými kouty s jednoduchou šambránou. Římsy, sokl a šambrány slepých oken mají po poslední opravě starorůžovou barvu, zbytek průčelí a zdi je bílý. Na severu z východu na panský dům navazuje kočárovna s konírnou a krejčovnou čp. 485 a na západní straně se severní průčelí obrací do dvorku u kaple sv. Kateřiny. Toto severní jednoosé průčelí má jeden lizénový rám s lizénami při nárožích. Okna jsou zde nízká obdélná na šířku postavená jednoduchá dovnitř otvíravá dvoukřídlá (v patře dvoutabulková a v přízemí osmitabulková) osazená v pískovcových šambránách s výše uvedenou profilací.