V dominantní poloze severně nad historickým jádrem města na konci dlouhé ostrožny rozlehlý areál panského sídla. Úzký ostroh se strmými svahy se na konci trojúhelně rozšiřuje a zdvihá. Nejstarší částí je srostlice zámku Smiřických (čp. 1282), v jejímž centru stojí válcová věž - bergrift, oddělující spolu s krátkým příčným křidélkem 4. a arkádově 5. nádvoří, kolem nichž se zámek Smiřických z jihu, západu, severu a jihovýchodu ovíjí. Na jihozápadě je součástí zámku rozsáhlá bašta s terasou a navazujícím parkánem, na jihu loggieta s terasou. Na severu se napojuje dvoukřídlý zámek Piccolominský s 3. branou a kaplí s půlválcovou baštou. Třetí nádvoří, přiložené z východu k oběma zámkům je na jihu uzavřeno hradbou s fortnou, ukončenou baštou čp. 1281, z jihu přiléhá k hradbě domek vodárny, z východu je nádvoří vymezeno hradbou se studniční baštou. Před touto hradbou se rozkládá obezděný příkop. Na 3. nádvoří je při hradbě osmiboká kašna. druhé nádvoří je z východu sevřeno úřednickým domem zvaným lesárna čp. 1284, pavilonem (vstup do zahrady), ze severu mohutnou dělostřeleckou baštou - turionem, ze západu hejtmanským domem čp. 1283, zvaným Kostka, a hradbou s kulisovou branou. Na turion navazuje na severu úřednická budova čp. 1285, ke které patří i brána, stavení šatlavy čp. 1286 a hradební zeď a jež spolu uzavírají 1. nádvoří. Součástí úřednické budovy je i obezdění příkopu s válcovou baštičkou. Francouzská zahrada (na sever od pavilonu) se rozkládá na trčkovském bastionu, je též zvaná Piccolominka. Na severní straně je v zahradě při obvodě grotta se sochou, k severnímu bloku se zvenčí přikládá budova jízdárny (nyní galerie) čp. 272. Na východním svahu hradního kopce se rozkládá anglický park. Při cestě severně od zámku se nalézá socha sv. Jana Nepomuckého, druhá socha téhož světce stojí při patě strmého schodiště zámku z města.