V roce 1473 a 1475 je v Potoku zmiňována obranná věž. Tehdy byla vesnice majetkem Wojtka a Marcina rodu Śreniawa s přídomkem z Potoku. Pravděpodobně byla věž postavena mnohem dříve.

V roce 1852 pravděpodobně v místě právě této středověké strážnice postavil Wincenty Krasiński palác, který později přešel do rukou Raczyńskich.