ámek se tyčil na vysoké hoře (375 metrů n.m.) ležící na severo-západ od dnešního města, na levém břehu řeky Bóbr.

Podle tradic zde stál počátkem století XII. hrad, postavený Boleslavem Křivoústým, jako hraniční pevnost ze strany Lužic a Čech, snad na místě ještě starších opevnění.

Zděný zámek zde stál před rokem 1291 za panování Bolka I, Svidnicko-Javorského knížete. Ve XIV. století je Jenohorský zámek mnohokrát vzpomínaný v dokumentech vystavených syny Bolka I . Podobně jako mnoho jiných zamků, po převzetí Svidnicko-Javorského knížectví Lucemburky byl zámek dán jako léno rytířským rodům. Byl to zámek stojící dále od města (založeného v roce 1288) a není spojený s jeho opevněním. V roce 1428 byl obsazen husitskými vojsky a v roce 1430 rozbit Jelenohorskými měšťany. Po starém zámku zbývající na hoře, 

Rycina F.B.Wernera z poowy XVIII wieku [pramen]

zvané horou Bolesława Krzywoustego , stopy zdí a také zemní opevnění na západním výběžku.