Palác je postaven na základech věžového domu, který pochází z doby maurského království v 9. století. Původní budova byla od svého vzniku v době taifského království v roce 1065 mnohokrát rozšířena a upravena. Zejména po znovudobytí katolickými králi v roce 1118 její podobu pozoruhodně ovlivnili přistěhovalí muslimové a jejich proslulý mudejarský styl.