V dávnych dobách sa na mieste Bielej veže nachádzalo byzantské opevnenie. V 15. storočí, keď mesto padlo pod osmanskú nadvládu, sa stavba využívala ako väzenie a tiež ako miesto hromadných popráv, čo vysvetľuje, prečo sa jej vtedy hovorilo “Červená veža”. Len čo sa Gréci začiatkom 20. storočia oslobodili spod osmanskej nadvlády, stavbu vybielili a dali jej názov “Biela veža”, ako symbolické očistenie od záťaže minulosti.