a přelomu 13. a14.století stávala na území Starého Města opevněná dřevěná rezidence krakovských biskupů.Tato rezidence byla na počátku 14.stol. po válečných událostech opuątěna a měnila se ve zříceninu. Na sousedním vrąku nechal biskup Jan Grot vystavět nový zděný zámek. V počáteční fázi stavby jej tvořila válcovitá věľ a obvodové zdi s branou od západu. V daląích letech a obdobích byl zámek roząiřován a přestavován následujícími biskupy, mezi jinými Floriánem z Mokrska, Janem Konarským, Filipem Padniewským a Martinem Szyszkowským.. Během těchto přestaveb získal samotný zámek trojúhelníkovitý půdorys a k němu přibylo na severní straně předzámčí. V 15. století přibyla opevněná věľovitá brána, do níľ vedl most .V 16.století byl zámek od základů přestavěn na renesanční rezidenci. Tenkrát vznikla větąina staveb, přiléhajících k obvodovým zdem a předzámčí bylo 

Plan zamku według Jakuba Lewickiego 'Dzieje i architektura zamku w Iłży...'

posíleno bastionovými fortifikacemi. Na počátku 17.století byl celý komplex opět částečně přestavěn, předevąím byly modernizovány fortifikace předzámčí. V roce 1655 byl objekt poąkozen ąvédskými nájezdy, následně pak útoky Rákocziho vojáků. V roce 1670 vystavěl biskup Andrzej Trzebicki tvrz. V roce 1788 přeąel zámek do vlastnictví státu a začal chátrat pro nedostatečnou údrľbu. Poľár na počátku 19,.stol. dokončil jeho zkázu.

Ukáz na mapě