În antichitate, pe locul Turnului Alb a existat o fortificație bizantină. În secolul al XV-lea, când orașul a căzut sub dominație otomană, construcția a fost folosită ca închisoare și, de asemenea, ca loc pentru execuții în masă, ceea ce explică de ce numele său era atunci “Turnul Roșu”. De îndată ce grecii s-au eliberat de sub dominația otomană, la începutul secolului al XX-lea, au albit construcția și i-au dat numele de “Turnul Alb”, ca o purificare simbolică de povara trecutului.