Palatul este construit pe zidurile de fundație ale unei case turn, care datează din Regatul maur din secolul al IX-lea. Clădirea originală a fost extinsă și modificată de mai multe ori de la înființarea sa în timpul Regatului Taifa în 1065. Mai ales după recucerirea de către regii catolici în 1118, designul său a fost influențat în mod remarcabil de imigranții musulmani și de renumitul lor stil Mudejar.