Senovėje Baltojo bokšto vietoje stovėjo bizantiškas įtvirtinimas. XV a., kai miestas pateko į Osmanų imperijos valdžią, šis statinys buvo naudojamas kaip kalėjimas ir masinių egzekucijų vieta, todėl tuomet jis buvo vadinamas Raudonuoju bokštu. Kai tik XX a. pradžioje graikai išsilaisvino iš Osmanų valdžios, jie išbaltino statinį ir pavadino jį Baltuoju bokštu, taip simboliškai apsivalydami nuo praeities naštos.