rvní opevněný strážní bod byl vybudován v maďarské vsi Frydman pravděpodobně již v první polovině 14. stol. rodinou Berzewiczů. Šlo nejspíš o obytnou věž na čtvercovém půdorysu. Její zdi se dosud nacházejí ve sklepích pozdějšího kastelu.

V roce 1589 koupil Niedzické panství i se vsí Frydman od Olbrachta Laského Jiří ( Gyorgi - Jerzy) Horwath. Ten provedl na konci 16. stol. řadu stavebních prací na rozšíření niedzického zámku i frydmanské strážní tvrze, kterou proměnil v opevněný kastel. Obě přestavby řídil zřejmě stejný architekt.

Frydman byl majetkem Horwathů do roku 1857, pozdějšími vlastníky se stali Salamonové. To byl kastel již zanedbáván a od roku 1881 byl úplně opuštěn.

V roce 1910 koupila zruinovanou budovu rodina Noworolských a zahájila zde rekonstrukční práce. Při nich kastel ztratil podobu historické památky. Atiky a za nimi ukrytá střecha byly nahrazeny obyčejnou valbovou střechou. Tuto podobu si zámek dochoval dodnes.

Na zadní fasádě budovy jsou umístěny dva nárožní arkýře. Čelní fasádu zdobí ryzalit s vchodem, dříve opatřeným podobným portálem, jako zámek v Niedzice. Na nárožích čelní fasády jsou šikmo umístěné arkýře. Celý objekt byl chráněn nevysokými valy a příkopy. Před rokem 1910 stávaly ještě hospodářské budovy, později byly rozebrány.