El palacio está construido sobre los cimientos de una casa torre, que data del reino moro del siglo IX. El edificio original se ha ampliado y modificado muchas veces desde su fundación durante el Reino de Taifa, en 1065. Especialmente tras la reconquista por los reyes católicos en 1118, su diseño se vio notablemente influido por los musulmanes inmigrantes y su renombrado estilo mudéjar.