Spuren erster menschlicher Besiedlung stammen aus der Bronzezeit und aus der spätromanischen und langobardischen Epoche, während das erste Dokument, das die Existenz des Dorfs bezeugt, aus dem Jahr 989 datiert. Die besondere strategische Lage prägt deutlich die geschichtlichen Ereignisse von Scarnafigi. Ab dem 13. Jahrhundert wechselten sich hier die Marchesen von Saluzzo, die Herren von Barge, die Grafen von Savoyen und die Adelsfamilie De Ponte bei der Verwaltung des Lehens ab.

Die Ortschaft von Scarnafigi entwickelte sich um die Burg, die als Festes Haus entstanden war und Mitte des 17. Jahrhunderts auf Bestreben des Marchesen Alessandro De Ponte in einen Adelswohnsitz umgewandelt wurde. Im ältesten Teil der Burg, der aus dem 11. Jahrhundert stammt, befindet sich der kostbare Wappensaal mit Kassettendecken und alten Gemälden.

Von der Altstadt gehen ringförmig angelegte, charakteristische Sträßchen ab, die zu weiteren bedeutenden Gebäuden führen, wie der Pfarrkirche Maria Vergine Assunta aus dem späten 18. Jahrhundert, die an der Stelle der ursprünglichen, der heiligen Maria gewidmeten Kapelle steht. Im Innern befindet sich die Kapelle des Allerheiligsten Schweißtuchs mit einem Gemälde über dem Altar, das das heilige Schweißtuch zeigt, gemalt von Giovanni Claret und auf 1644 datiert. 

Ebenfalls sehenswert: das Rathaus, dessen Fassade von 1824 vollständig erhalten ist, mit dem kürzlich restaurierten Wappen der Gemeinde Scarnafigi aus dem 17. Jahrhundert; das Internat, heute in Privatbesitz, einst Sitz einer apostolischen Schule, dann ein kirchenneutrales Internat, das 1981 aufgrund eines Mangels an Seminaristen geschlossen wurde; die Bruderschaftskirche Santa Croce, die 1700/1701 auf Betreiben der „Ufficiali di Crociata (Offiziere des Kreuzzugs)“ auf den Ruinen einer anderen, kleineren Kirche errichtet wurde und heute Sitz des multimedialen Zentrums des Vereins Octavia ist; und, neben dem Heim an der Piazza Ospedale, die 1757 erbaute Kirche Vergine Santissima della Concezione, in der sich ein gut erhaltener Bilderzyklus über das Leben der Madonna befindet.

Auf dem Land heben sich die Wallfahrtskirche des Christus ab, mit bemerkenswerten Fresken aus dem 15. Jahrhundert, darunter das Bild des Gekreuzigten, dessen Autor der Schule des flämischen Malers Hans Clemer angehören könnte, und die alte Kapelle der Heiligen Dreifaltigkeit mit interessanten gotischen Fresken, darunter eine Wandmalerei mit einer Darstellung des Gekreuzigten. 

Das Dorf wird außerdem von einigen Skulpturen verschönert, die der geniale Künstler Mario Guasti plante, entwarf und ausführte. Die Installationen stellen die Angelpunkte der Tugenden eines jeden Menschen dar und nehmen den Charakter der Leute vor Ort an: Verantwortung und Handeln, Logik und Gedanke, Neugier und Wissen, Heiterkeit und Wahrheit. 

Scarnafigi ist stark in einer Tradition, die im frühen 20. Jahrhundert verwurzelt ist, und trägt daher den Titel Città dei Formaggi, Stadt der Käse. Mit dem benachbarten Dorf Ruffia bildet es einen Bezirk der Käseherstellung, der in der Lage ist, jeden Tag hunderttausende Liter Milch in Grana Padano, Piemontino, Bra, Raschera, Toma und weitere, kleinere Erzeugnisse zu verwandeln. Diese hochwertige Geschmacksvielfalt wird Ende Mai während der traditionellen Fiera di Primavera (Frühjahrsmesse) zur Schau gestellt.