Probablemente las primeras fortificaciones de castillo sean de origen fenicio, pero fue durante la ocupación musulmana cuando el castillo comienza a tomar forma. Durante este periodo Silves se reafirma como capital del Algarve. Tras la primera tentativa de conquista en 1246 es cuando Silves formará parta del reino portugués. Alfonso III mandará reedificar el castillo para proteger la ciudad.

El Castillo de Silves fue bastante damnificado por los sucesivos terremotos, entre 1930 y 1940 se llevaron a cabo importantes obras de restauración. Esta constituido por murallas de piedra su planta es un polígono irregular, del cual salen 4 torres: la del Centro, la de las Mujeres (que servía como prisión femenina) y la del Homenaje (también conocida por Aben-Afan) y la del Segredo (donde eran destinados los presos incomunicados).

En el interior del castillo se encuentran numerosos vestigios de la ocupación musulmana, como una cisterna árabe. Está declarado como Monumento Nacional.