De straten van deze oude gemeenschap – het eerste handvest is in 1199 door D. Sancho I aan de gemeenschap toegekend – leiden naar de top van een berg waarop het oude kasteel verrijst. In een document dat dateert van 1258 werden al de hoge hoofdtoren, muren en bolwerken van het kasteel beschreven. Deze eenvoudige verdedigende architectuur wordt onderbroken door een elegant raam in Manuelijnse stijl dat in de muur is gehouwen waarin de armillairsfeer, symbool van de wereld en D. Manuel I, en het wapen van de familie Cabral, afgebeeld met twee geiten.

Uit deze illustere familie komt Pedro Álvares Cabral, ontdekker van Brazilië in 1500, die in 1467 in Belmonte is geboren.

Bij het kasteel bevindt zich een kleine romaans-gotische kerk gewijd aan de heilige São Tiago.

In deze kerk staat een uit graniet uitgehakt beeld van Maria met kind, ontroerend in zijn ruwe en eenvoudige schoonheid. Een bijgebouw van de kerk biedt onderdak aan het pantheon van de familie Cabral, hoewel de resten van Pedro Álvares Cabral zich in de kerk Igreja da Graça in Santarém bevinden.

In Belmonte heeft zich vooral in de 15e eeuw een belangrijke joodse gemeenschap gevestigd, toen deze op de vlucht was voor de vervolgingen die door Castilië in gang waren gezet, hier naartoe vluchtten. Ze woonden buiten de muren van het kasteel in de wijk Bairro de Marrocos. Daar zijn, gegraveerd in de deurposten, nog de symbolen van de beroepen die de leden van de gemeenschap uitoefenden te zien, zoals de schaar die de kleermaker symboliseerde.