Silves was de hoofdstad van de Algarve tijdens de Arabische bezetting. Hieraan heeft de stad zijn herenhuizen en zijn rode kasteel te danken dat de moeite waard is om te ontdekken.

Het kasteel wordt beschouwd als het mooiste islamitische militaire bouwwerk in Portugal en het is ook het grootste van de Algarve. De torens en de vestigingsmuren zijn gebouwd op een heuvel van de Serra de Monchique, om het grondgebied beter te kunnen verdedigen. Tegenwoordig zijn het uitstekende uitkijkpunten over de vruchtbare velden met sinaasappelbomen aan de oevers van de rivier Arade. Het kasteel werd door de Arabieren gebouwd, waarschijnlijk boven op een Romeinse ruïne uit de 4e of 5e eeuw. Het stadje was omringd door nog twee vestigingsmuren, waarvan nog slechts enkele stukken zijn bewaard gebleven. Binnen de muren kunt u de oude Arabische Alcáçova en twee waterreservoirs bezoeken, waarvan er naar verluidt een in verbinding met de rivier stond. 

Silves werd in 1189 door koning D. Sancho I op de Moren heroverd. Die werden echter pas in 1242, tijdens de regeerperiode van koning D. Afonso III, definitief verjaagd. De oude grote moskee is vermoedelijk afkomstig uit die tijd. Ze werd omgevormd tot de kathedraal Sé, een van de belangrijkste kerken van de Algarve, begonnen in gotische stijl en voltooid in de baroktijd. De kathedraal bevindt zich tegenover het kasteel en is in dezelfde typische rode zandsteen van Silves opgetrokken. 

Het historisch centrum heeft zijn middeleeuws uiterlijk en de charme van de oude Arabische binnenstad behouden. Half augustus vindt hier de Feira Medieval (middeleeuwse markt) plaats, een niet te missen historische nabootsing van vervlogen tijden. In het Museu arqueológico kunt u enkele voorwerpen uit die tijd bekijken, zoals een diepe Moorse waterput uit de 11e eeuw, met een trap die rondom de put tot aan de bodem loopt. 

De kerk Igreja da Misericórdia met een prachtig zijportaal in manuelijnse stijl is ook een bezoek waard. Buiten de muren bevinden zich de 12e-eeuwse Capela de Nossa Senhora dos Mártires met gotische en barokelementen en het Cruz de Portugal (Kruis van Portugal) vlakbij de weg die Silves vroeger met het noorden verbond. 

De rivier Rio Arade met zijn middeleeuwse brug was gedurende eeuwen, misschien wel duizenden jaren lang, de belangrijkste toegangsweg naar de kust. Hier voeren boten afkomstig uit de Middellandse zee en de Atlantische oceaan en kwamen ook de kruisvaarders aan land die hebben geholpen bij de christelijke herovering. Om de schoonheid van de rivieroevers te bewonderen, kunt u een boottocht maken tot in Portimão, voorbij de forten die de ingang van de rivier verdedigden. 

Van de kusstreek komen de vis en de zeevruchten die duidelijk aanwezig zijn in de plaatselijke gastronomie. Ze zijn heerlijk gegrild of verwerkt in stoofpotjes, maar kunnen ook op andere manieren worden bereid, zoals de “sardinhas albardadas” (gefrituurde sardines) of “carapaus alimados” (horsmakreel met citroen). U vindt hier ook recepten uit de bergen zoals de "fatias do Barrocal“(met varkensvlees en sinaasappelsap) of “papas de milho” (maïsgerecht). De “morgado de Silves”, bereid met eieren en amandelen en versierd met bloemen en blaadjes van suiker, is een van de bekendste zoete lekkernijen van de Algarve. Er zijn echter nog veel meer zoetigheden, zoals de “slakken” gevuld met eieren en suiker of de “folhados de Messines”. De sinaasappels en de vijgen die hier overvloedig voorkomen smaken heerlijk op elk moment van de dag. Deze vruchten zijn een erfenis van de Moren die de sinaasappel- en vijgenteelt in de regio hebben geïntroduceerd.