ilomlynský zámek stál na břehu řeky Liwy poblíž brodu na starodávné cestě z Elblongu do Ostrody. Město bylo založeno v roce 1335, ale zámek, sloužící k obraně cesty a brodu, byl postaven určitě již dříve.. Když se stavěly městské hradby, byl jimi zámek obestavěn a stal se tak součástí městské zástavby. Na zámku měli své sídlo prokurátoři, podléhající dzierzgoňskému komturovi. V roce 1525 se stal sídlem pomezanských biskupů a v roce 1586 se stal majetkem knížecím. Později byl demolován. Dochovala se jen jedna kresba podoby zámku, pořízená v první čtvrtině 19. stol. J. M. Giesem.