Rūmai pastatyti ant IX a. maurų karalystės laikus menančio bokšto pamatų. Originalus pastatas buvo daug kartų plečiamas ir keičiamas nuo jo įkūrimo Taifos karalystės laikais 1065 m. Ypač po to, kai 1118 m. jį susigrąžino katalikų karaliai, jo dizainą nepaprastai paveikė imigravę musulmonai ir jų garsusis mudejarų stilius.