La Porte du Pourtalet marque l’entrée d’Olargues, forteresse fondée au XIIème siècle. Ici se trouvait l’une des neuf portes du castrum, dont subsistent encore quelques traces. Cette porte secondaire accueillait piétons et bêtes de somme. Les façades exposées à l’est sont protégées par des ardoises contre le vent du Grec.