På stedet for Det Hvide Tårn har der i oldtiden ligget en byzantinsk befæstning. I det 15. århundrede, da byen kom under osmannisk styre, blev bygningen brugt som fængsel og også som et sted for massehenrettelser, hvilket forklarer, hvorfor det dengang hed “Det røde tårn”. Så snart grækerne blev fri af det osmanniske styre i begyndelsen af det 20. århundrede, hvidtede de konstruktionen og gav den navnet “Det hvide tårn” som en symbolsk renselse fra fortidens byrde.