Rifreddo bekam seinen Namen von einem der kleinen Bäche, die durch sein Gebiet fließen, dem Riofreddo, einst Rivus Frigidus. Das Dorf bestand immer schon einzig aus dem Ortskern ohne weitere Ortsteile. Die sonnige Lage und das gute Klima des Gebiets erlauben den Anbau von Obst und begünstigen das Wachstum der Esskastanienwälder.

Der Palazzo Comunale (das Rathaus) zählt zu den architektonisch am besten erhaltenen, historischen Gebäuden des Dorfs. Er liegt mitten im Ort an der Piazza della Vittoria und erstrahlt noch heute in seiner einstigen Pracht. Die Fassade mit ihrem Scheingiebel, der schöne Bogengang und das große Fenster im ersten Stock sind nur einige der aus dem 15. Jahrhundert stammenden Details.

Das ehemalige Nonnenkloster Santa Maria della Stella, von dem nur noch die Kirchenfassade und einige Mauern mit interessanten Terrakotta-Artefakten zu sehen sind, liegt im Weiler Ciotte. Gegründet wurde es 1219 von Agnese, der Tochter des Marchesen von Saluzzo Manfredi II, die als Witwe beschloss, sich dem spirituellen Leben zu widmen.

Jedes Jahr Ende Oktober treffen sich zu den Hexennächten „Le notti delle streghe“ die Fans des Gruselns, um die volkstümlichen Legenden wiederaufleben zu lassen, die von den „masche“ erzählen. Diese bekannten Figuren des piemontesischen Volksglaubens sind mit übernatürlichen Kräften ausgestattete Frauen. 1495 war eben dieses Nonnenkloster Schauplatz des Prozesses gegen Caterina Bonivarda und weitere Frauen des Orts, die der Häresie und der Hexerei beschuldigt wurden. Beim Abendspaziergang sieht man die mutigsten Teilnehmer der Veranstaltung im Dunkeln durch die Straßen Rifreddos wandeln. Nur von einem schweigenden Gespenst mit einer Pechfackel begleitet sind sie bereit, auf Hexen und andere seltsame Kreaturen der magischen Traditionen des Monte Bracco zu treffen.