Na mestu Belega stolpa je bila v davnih časih bizantinska utrdba. V 15. stoletju, ko je mesto padlo pod osmansko oblast, so ga uporabljali kot zapor in kraj za množične usmrtitve, zato se je takrat imenoval “Rdeči stolp”. Ko so se Grki v začetku 20. stoletja osvobodili osmanske oblasti, so zgradbo pobelili in jo poimenovali “Beli stolp” kot simbolno očiščenje od bremen preteklosti.