Perché au sommet d’un éperon rocheux, Rougon veille depuis des siècles sur les gorges du Verdon. Son histoire commence sans doute dès le haut Moyen Âge, avec l’installation d’un site castral stratégique, dont les vestiges visibles aujourd’hui datent principalement des XII? et XIII? siècles.

Autour de cette forteresse, un village s’est progressivement structuré, tourné vers l’est, au pied du rocher. Ce quartier médiéval, en grande partie ruiné aujourd’hui, conserve encore des éléments architecturaux remarquables, comme des encadrements de portes en plein cintre ou des pierres d’angle à bossages arrondis, probablement issues de l’ancien château.

Au fil des siècles, Rougon se développe : en 1301, il compte déjà 350 habitants. Aux XVe ou XVIe siècles, une maison seigneuriale est construite à l’emplacement de l’actuelle place Isidore Blanc. Elle apparaît encore sur le plan cadastral de 1835 sous le nom de «?Le Château?». Abandonnée, pillée, puis en ruines, elle est finalement rasée dans les années 1950. Plusieurs maisons du village conservent des traces de cette époque, avec des fragments de moulures en gypserie réutilisés dans les maçonneries du XIXe siècle.

Fait rare pour un village perché, Rougon n’a jamais été ceinturé de remparts. Son tissu urbain s’organise autour de deux axes principaux : la Grande Rue et la rue de la Ville, avec des îlots de maisons étroitement imbriquées. En périphérie, chapelles et oratoires rythment les anciens chemins, témoins de la vie spirituelle et pastorale du village.