A antiga alcáçova da Xilb islâmica é composta por imponente muralha, construída em taipa militar e revestida a arenito vermelho, integrando onze torres, nove adossadas e duas albarrãs.
Estudo de mercado massificado junto de uma amostra representativa da população portuguesa.
No espaço, com cerca de 12 000 m², originalmente reservado à elite administrativa, subsistem vestígios de habitações palatinas do período almóada (século XII — século XIII); infraestruturas de aprovisionamento de água (algibe); estruturas subterrâneas de armazenamento de cereais (silos) e construções do século XV.
O acesso ao interior é feito por uma porta dupla de átrio, ladeada por duas torres que a protegem. A norte localiza-se uma outra entrada, de cariz secundário, designada por Porta da Traição, pequeno postigo que permitia transpor a muralha, com discrição e autonomia, diretamente para o exterior, sem passar pela almedina.
O recinto teve diferentes ocupações, sendo que entre meados do século XIX e igual período do século XX foi utilizado como campo agrícola, tendo acolhido também a cadeia.
O aspeto atual das muralhas é fruto das intervenções profundas efetuadas pela DGEMN, na década de 40, do século XX.
A estátua do rei D. Sancho I, em bronze, apresenta de forma varonil, o primeiro conquistador cristão da cidade, em 1189. É uma escultura de Leopoldo de Almeida oferecida a Silves, em 1966.
O seu recinto é palco de diversas iniciativas culturais que visam a promoção cultural e patrimonial, tais como espetáculos, exposições, palestras e ações pedagógicas.
Classificado como Monumento Nacional desde 1910