In der Antike stand genau an diesem Platz eine byzantinische Festung. Als die Osmanen im 15. Jahrhundert über die Stadt herrschten, wurde diese Festung als Gefängnis und als Platz für Massenhinrichtungen benutzt. Das erklärt auch, warum der Turm auch „Der rote Turm“ genannt wird. Sobald die Griechen sich der osmanischen Herrschaft zu Beginn des 20. Jahrhunderts entledigt hatten, gaben sie ihm den Namen „Der Weiße Turm“, um sich symbolisch von seiner Vergangenheit abzusetzen.