Le strade di questo antico insediamento – il primo privilegio, concessogli da D. Sancho I, risale al 1199 – conducono in cima ad un monte dove si erge un antico castello: un documento datato 1258 descriveva già la sua torre di guardia, le sue mura e i suoi bastioni. Questa austera architettura difensiva è interrotta da un’elegante finestra manuelina, che si ritaglia nelle mura, ornata con la sua sfera armillare, simbolo del mondo associato a D. Manuel I, e con lo scudo della famiglia Cabral, con rappresentate due capre.
Questa illustre famiglia ha come corollario dei propri eroi Pedro Álvares Cabral, scopritore del Brasile nel 1500, nato a Belmonte nel 1467.
Unita al castello si nota una piccola chiesa romano-gotica dedicata a S.
Tiago, al cui interno si trova una Pietà scolpita in granito, commovente nella sua bellezza rude e semplice. Annesso alla chiesa si trova il pantheon dei Cabral, sebbene le ceneri di Pedro Álvares Cabral si trovino della chiesa della Graça a Santarém.
A Belmonte si formò un’importante comunità ebraica, soprattutto nel secolo XV, quando vi si rifugiarono gli ebrei fuggiti dalle persecuzioni messe in atto dalla Castiglia. Abitavano in case situate fuori dalle mura del castello, nel Bairro de Marrocos, dove erano anche visibili i simboli delle professioni esercitate dai vari membri della comunità, come le forbici, che identificano il sarto, scolpite sulle soglie delle porte.