Según dice una leyenda local, en la época de la invasión castellana de 1372, cuando fue tomada por los enemigos la ciudad de Torres Novas, fue apresado uno de los hijos de Gil Pais, alcalde entonces de dicha ciudad.

Los castellanos, después de haber tomado la ciudad, cercaron todo el castillo, y exigieron que éste les fuera entregado a cambio del hijo del alcalde, esperando que el trueque fuera aceptado; pero el alcalde rechazó entregar aquel lugar que le había sido confiado por el rey, y allí, delante de las puertas del castillo, el hijo de Gil Pais fue ejecutado.

Hoy en día Gil Pais es recordado como un héroe y, en la calle que sube al castillo, hay una imagen de azulejos en memoria de aquel hombre que por ser fiel a su rey perdió un hijo.