På platsen för det vita tornet har det sedan urminnes tider funnits en bysantinsk befästning. På 1400-talet, när staden föll under ottomanskt styre, användes byggnaden som fängelse och även som plats för massavrättningar, vilket förklarar varför det då kallades “Det röda tornet”. Så snart grekerna blev fria från det ottomanska styret i början av 1900-talet vitblekte de byggnaden och gav den namnet “Det vita tornet”, som en symbolisk rening från det förflutnas bördor.