V dávných dobách stávala nad řekou Solou dřevěná strážní pevnost a na jejím místě dala osvětímská knížata vystavět ve 14. století gotický zámek. V 15. až 17. stol. zde sídlili "hradní starostové". V roce 1503 zámek vyhořel, ale ještě téhož roku byl opraven. V 17. století jej zničili Švédové, ale opět byl obnoven. Určitou dobu sloužil i jako vězení. Po roce 1772 byl pronajímán vojsku i starostenstvu až do roku 1805, kdy byl poškozen rozvodněnou řekou Solou. V roce 1928 byl adaptován pro potřeby okresního úřadu. Dochovala se část obvodové hradby a také mohutná čtvercová gotická věž o straně 11 m, v níž dnes sídlí městský úřad.