ámek v Bytowie stál v době, kdy vzrůstalo napětí mezi Křižáky a Polskem, které zakrátko mělo dojít k velké válce. Přípravné práce byly prováděny v roce 1390 a hlavní stavitelské práce, prováděné v letech 1398-1406, řídil Mikołaj Fellenstein.

Pod stavbou zámku bylo provedeno vyvýšení kvůli podmočenému terénu. Sámotný zámek měl obdélníkový půdorys s baštami ve všech rozích: jednu čtvercovou na severní straně (bašta Prochowa) a také třemi kruhovými ve zbývajících rozích (bašta Młyńska od západu, Folwarczna - od východu a Różana od jihu). Zámek je kamenno-cihlový, v dolních patrech byl použit na jeho stavbu kámen z okolních polí a v horní části jsou cihly. Na východní straně se nalézá předzámčí chránící vjezd do zámku. Sám zámek obsahoval jen jedenu obytnou budovu, Řadový dům zvaný "prawym domem" u severní obvodové zdi. Zámek byl sídlem bytowských křižáckých prokurátorů.

V roce 1410 byl obsazen vojsky Władysława Jagiełły, ale po uzavření toruňského míru, jako většina 

Plan zamku według Conrada Steinbrechta, 'Die Ordensburgen der Hochmeisterzeit in Preussen...', Berlin 1920

křižáckých tvrzí, byl předaný státu. Po třináctileté válce se znovu vrátil do polských rukou a král Kazimierz Jagiellończyk ho daroval jako léno pomorskénu knížeti Brykowi II. Pomorská knížata zde měli svoje sídlo do roku 1637.

V XVI. století byla provedena v několika etapách značná přestavba. V první etapě, po roce 1516, byle postaveny dva nové objekty. První z nich, u jihovýchodní zdi byl renesanční vévodský dům, který přetrval dodnes. Měl tři podlaží i vnitřní schodovou klec. U jihozápadní zdi tehdy stávala knížecí kancelář. Zámek byl také dodatečně opevněný zemními valy s bastióny v rozích. V roce 1623 na příkaz knížete Bogusława XIV byl u severovýchodní zdi, mezi řádovým domem a vjezdovou bránou, postaven vdovský dům.

V době tažení Švédové zajali a rozbili pevnost, spálili objekty a vyhodili do povětří čtyřbokou věž. Poničen byl také řádový dům. Jedině vdovský dům a bašta Młyńska zůstaly nepoškozené. V roce 1658 zámek převzali současně 

Litografia E.Sanne'a z 1846 roku

z městem Brandenburczycy. V roce 1686 byl dodělán u východním zdi, vedle vjezdové věže, justiční dům, ale již v XVIII. století byl celý zámek byl v tak špatném stavu, že byla započato jeho zbourání. Úplně rozebráno byla kancelářská budova a vjezdová věž a příkop byl zasypán. Na štěstí náklady demoličních prací se ukázaly příliš velké a tak na ně nedošlo. V letech 1854-1858 byl soudní dům přestavěn na vězení.

Na přelomu XIX. a XX. století byl zámek používán mimo jiné jako sýpka, okresní soud, vězení a daňový úřad. Po roce 1930 v zámku místo dětský domov. Ještě v roce 1937 byly provedeny pokusy o obnovu, ale válka je nedovolila realizovat.

O co více bylo město během války zničeno o tolik byl zámek ochráněn. Po válce byl restaurován a teď je zde umístěno muzeum, hotel, knihovna a restaurace. Jsou zde také pořádány kulturní akce, koncerty a vernisáže.