Palatset är byggt på grundmurarna till ett tornhus, som har anor från det moriska kungariket på 800-talet. Den ursprungliga byggnaden har byggts ut och förändrats många gånger sedan den uppfördes under Taifa-riket år 1065. Särskilt efter de katolska kungarnas återerövring 1118 påverkades utformningen av de invandrande muslimerna och deras berömda Mudejar-stil.