Palác je postavený na základových múroch vežového domu, ktorý pochádza z obdobia maurského kráľovstva v 9. storočí. Pôvodná budova bola od svojho vzniku počas kráľovstva Taifa v roku 1065 mnohokrát rozšírená a zmenená. Najmä po opätovnom dobytí katolíckymi kráľmi v roku 1118 jej dizajn pozoruhodne ovplyvnili prisťahovaní moslimovia a ich známy mudejarský štýl.