A Fortaleza Medieval, que compreende o castelo e a cerca urbana, está implantada num cabeço rochoso, num contraforte da Serra de São Mamede e desenvolve-se em altitudes na ordem dos 600 m. Construída no reinado de D. Dinis, foi concluída no reinado de Afonso IV, em 1327. No século XVII foram efetuadas obras de ampliação na fortificação que cercam a povoação até ao limite do atual Jardim Grande – a fortaleza possuiu uma extensão assinalável, cercando quase a totalidade da vila.

Da Torre de Menagem tem-se uma vista panorâmica magnífica para a vila e para a Serra de São Paulo. No salão da Torre de Menagem, antigo Armazém das Armas, está instalada a Casa da Cidadania Salgueiro Maia.