W dawnych czasach na miejscu Białej Wieży znajdowała się bizantyjska fortyfikacja. W XV wieku, kiedy to miasto znalazło się pod panowaniem osmańskim, budowla ta była wykorzystywana jako więzienie, a także jako miejsce masowych egzekucji, co tłumaczy, dlaczego wówczas nazywała się “Czerwoną Wieżą”. Gdy tylko na początku XX wieku Grecy zostali uwolnieni od panowania osmańskiego, wybielili budynek i nadali mu nazwę “Biała Wieża”, jako symboliczne oczyszczenie z obciążeń przeszłości.