V dávných dobách se na místě Bílé věže nacházelo byzantské opevnění. V 15. století, kdy město spadalo pod osmanskou nadvládu, byla stavba využívána jako vězení a také jako místo hromadných poprav, což vysvětluje, proč se tehdy jmenovala “Červená věž”. Jakmile se Řekové na počátku 20. století osvobodili od osmanské nadvlády, stavbu vybílili a dali jí název “Bílá věž”, jako symbolické očištění od zátěže minulosti.