Les rues de cet ancien bourg – la première charte lui fut attribuée en 1199 par D. Sancho 1er – conduisent au sommet d’une colline où se dresse l’ancien château. Un document datant de 1258 décrivait déjà son haut donjon, ses murailles et ses bastions. Cette austère construction défensive est interrompue par une élégante fenêtre manuéline, découpée sur la muraille, où sont représentés la sphère armillaire, symbole de l’univers associé à D. Manuel 1er, et l’écu des Cabrais, symbolisé par deux chèvres.

Le plus grand héros de cette illustre famille est sans aucun doute Pedro Álvares Cabral, le découvreur du Brésil en 1467, qui est né à Belmonte en 1467.

Près du château, se trouve une petite église romano-gothique dédiée à Saint-Jacques, qui renferme à l’intérieur une Pietà sculptée en granit, émouvante par sa beauté rude et simple.

Une chapelle attenante abrite le panthéon des Cabrais, toutefois le corps de Pedro Álvares Cabral repose à l’Eglise da Graça, à Santarém.

A Belmonte s’est installée une importante communauté juive, surtout au XVe siècle, quand les juifs persécutés dans le royaume de Castille ont trouvé refuge ici. Ils habitaient dans des maisons situées en dehors des murailles du château, dans le Quartier du Maroc, où l’on peut encore voir, gravés sur les montants des portes, les symboles des professions exercées par les membres de cette communauté, comme le ciseau qui symbolise le tailleur.