Vévodský zámek byl umístěn v jiho-východní části nynějšího města. Již v XI. - XII. století zde stála velká tvrz a po vzniku města v roce 1422 byl na jejím místě postaven zděný zámek. Jeho pozdější dějiny nejsou známy.

Po zničení se zachovaly jenom sklepy obytných budov a pravděpodobně základy zbylé části zástavby. Na těchto sklepech byla v XIX. století postavena nová obytná budova, která během 2. světové války byla rozbitá. Dnes na tom místě soukromý majitel postavil menší dům za účelem otevření kavárny nebo klubu. Zájemce o historii ochotně provází po zachovalých hradních sklepech a také pozemku usedlosti.