Iidsetel aegadel asus Valge torni kohal Bütsantsi kindlus. 15. sajandil, kui linn langes Osmanite võimu alla, kasutati seda ehitist vanglana ja ka massiliste hukkamiste kohana, mis seletab, miks selle nimi oli siis “Punane torn”. Niipea kui kreeklased olid 20. sajandi alguses Osmanite võimu alt vabanenud, valgendasid nad ehitise ja andsid sellele nime “Valge torn”, sümboolse puhastumisena mineviku koormast.