В древние времена на месте Белой башни находилось византийское укрепление. В XV веке, когда город попал под власть Османской империи, сооружение использовалось как тюрьма, а также как место для массовых казней, что объясняет, почему его тогда называли “Красной башней”. Как только греки освободились от османского владычества в начале XX века, они побелили сооружение и дали ему название “Белая башня”, как символическое очищение от груза прошлого.