Palatsi on rakennettu tornitalon perusmuurien varaan, joka on peräisin maurien valtakunnasta 9. vuosisadalta. Alkuperäistä rakennusta on laajennettu ja muutettu useita kertoja sen jälkeen, kun se perustettiin Taifan kuningaskunnan aikana vuonna 1065. Erityisesti sen jälkeen, kun katoliset kuninkaat valtasivat sen takaisin vuonna 1118, sen muotoiluun vaikuttivat merkittävästi maahan muuttaneet muslimit ja heidän tunnettu mudejar-tyylinsä.