El Castillo de Silves se encuentra situado en lo alto de una colina ya ocupada en tiempos prehistóricos. Es uno de los más grandes e importantes de Portugal y fue construido por los Romanos y modificado por los árabes. Formaba parte del sistema de defensa que rodeaba la ciudad. Su estructura se componía de varias partes, la Alcazaba, en donde se encuentran la Cisterna de la Mora y la Cisterna de los Perros, las murallas de la Medina y las del Arrabal, la Coraza y varios fosos.

Se encuentra rodeado de una gran muralla y reforzada por once inmensas torres desde las cuales se tiene una excelente vista de toda la ciudad y toda la zona. En el interior de las murallas se encuentra un hermoso jardín y varias construcciones subterráneas. Destaca en su entrada un estatua en homenaje al rey D. Sancho I que conquistó por primera vez Silves a los árabes. Está considerado Monumento Nacional desde el año 1910. Hoy en día se conserva en buen estado y está abierto al público.