Conta-se que a povoação terá resistido deste baluarte, durante 7 anos, ao cerco posto pelos romanos no séc. II a. C., feito que está na origem da Festa das Cruzes, que a aldeia comemora todos os anos, no dia 3 de maio.

No séc. XII D. Afonso Henriques doou a povoação conquistada aos Mouros à Ordem dos Templários, e o seu Mestre em Portugal, Gualdim Pais, mandou reconstruir o castelo. A aldeia oferece das paisagens humanas mais interessantes que se podem encontrar em Portugal. O aglomerado vai-se desenvolvendo sobre a encosta do cabeço aproveitando pedregulhos de granito para as paredes das habitações e em alguns casos um único bloco de pedra forma o telhado, razão por que aqui se diz que as casas são "de uma só telha".

Alguns palacetes brasonados, portais manuelinos, a casa onde viveu e exerceu clínica o médico e escritor Fernando Namora, que aqui se inspirou para o seu romance "Retalhos da Vida de um Médico", acrescentam interesse ao passeio pelas ruelas íngremes. De entre o casario destaca-se a Torre de Lucano (séc. XIV) encimada por um galo de prata, troféu atribuído a Monsanto num concurso realizado em 1938, onde foi considerada a aldeia mais portuguesa de Portugal.

A difícil subida até ao castelo é compensada por um dos mais deslumbrantes miradouros da região. Neste baluarte de guerra eram sepultados em rochas escavadas os valorosos cavaleiros dos tempos da Reconquista Cristã.