Kiedy w XVI wieku zamek przeszedł w ręce rodu Komorowskich, przeprowadzili oni gruntowną przebudowę obiektu, nadając mu charakter rezydencji magnackiej. To właśnie wtedy powstały piękne krużganki otaczające dziedziniec oraz bogato zdobione wnętrza. W XVII wieku zamek został rozbudowany o dodatkowe skrzydła oraz ogród, który pełnił funkcję reprezentacyjną i rekreacyjną. Z czasem zamek stał się nie tylko siedzibą rodu, ale także ważnym ośrodkiem życia kulturalnego i politycznego w regionie.
