ámek v Bytowie stál v době, kdy vzrůstalo napětí mezi Křižáky a Polskem, které zakrátko mělo dojít k velké válce. Přípravné práce byly prováděny v roce 1390 a hlavní stavitelské práce, prováděné v letech 1398-1406, řídil Mikołaj Fellenstein.

Pod stavbou zámku bylo provedeno vyvýšení kvůli podmočenému terénu. Sámotný zámek měl obdélníkový půdorys s baštami ve všech rozích: jednu čtvercovou na severní straně (bašta Prochowa) a také třemi kruhovými ve zbývajících rozích (bašta Młyńska od západu, Folwarczna - od východu a Różana od jihu). Zámek je kamenno-cihlový, v dolních patrech byl použit na jeho stavbu kámen z okolních polí a v horní části jsou cihly. Na východní straně se nalézá předzámčí chránící vjezd do zámku. Sám zámek obsahoval jen jedenu obytnou budovu, Řadový dům zvaný 

Stan zamku na rysunku C.Bronischa z 1656 roku, Conrad Steinbrecht, 'Die Ordensburgen der Hochmeisterzeit in Preussen...', Berlin 1920

"prawym domem" u severní obvodové zdi. Zámek byl sídlem bytowských křižáckých prokurátorů.

V roce 1410 byl obsazen vojsky Władysława Jagiełły, ale po uzavření toruňského míru, jako většina křižáckých tvrzí, byl předaný státu. Po třináctileté válce se znovu vrátil do polských rukou a král Kazimierz Jagiellończyk ho daroval jako léno pomorskénu knížeti Brykowi II. Pomorská knížata zde měli svoje sídlo do roku 1637.

V XVI. století byla provedena v několika etapách značná přestavba. V první etapě, po roce 1516, byle postaveny dva nové objekty. První z nich, u jihovýchodní zdi byl renesanční vévodský dům, který přetrval dodnes. Měl tři podlaží i vnitřní schodovou klec. U jihozápadní zdi tehdy stávala knížecí kancelář. Zámek byl také dodatečně opevněný zemními valy s bastióny v rozích. V roce 1623 na příkaz knížete Bogusława XIV byl u severovýchodní zdi, mezi řádovým domem a vjezdovou bránou, postaven vdovský dům.

V době tažení Švédové zajali a rozbili pevnost, spálili objekty a vyhodili do povětří čtyřbokou věž. Poničen byl také řádový dům. Jedině vdovský 

Plan zamku według Conrada Steinbrechta, 'Die Ordensburgen der Hochmeisterzeit in Preussen...', Berlin 1920

dům a bašta Młyńska zůstaly nepoškozené. V roce 1658 zámek převzali současně z městem Brandenburczycy. V roce 1686 byl dodělán u východním zdi, vedle vjezdové věže, justiční dům, ale již v XVIII. století byl celý zámek byl v tak špatném stavu, že byla započato jeho zbourání. Úplně rozebráno byla kancelářská budova a vjezdová věž a příkop byl zasypán. Na štěstí náklady demoličních prací se ukázaly příliš velké a tak na ně nedošlo. V letech 1854-1858 byl soudní dům přestavěn na vězení.

Na přelomu XIX. a XX. století byl zámek používán mimo jiné jako sýpka, okresní soud, vězení a daňový úřad. Po roce 1930 v zámku místo dětský domov. Ještě v roce 1937 byly provedeny pokusy o obnovu, ale válka je nedovolila realizovat.

O co více bylo město během války zničeno o tolik byl zámek ochráněn. Po válce byl restaurován a teď je zde umístěno muzeum, hotel, knihovna a restaurace. Jsou zde také pořádány kulturní akce, koncerty a vernisáže.