L’oratorio, dedicato alla Beata Vergine delle Grazie, nota anche come Madonna del Latte, è un elegante edificio di primo Seicento, di impianto tardo manieristico.
Fu eretto per volontà testamentaria del conte Alessandro Maria Scotti con il concorso di elemosine della popolazione di Vigoleno. Aveva la duplice destinazione di cappella gentilizia e oratorio pubblico.
La irregolare conformazione planimetrica dell'oratorio, che consiste in una pianta a croce greca con il braccio d'ingresso più sviluppato degli altri, è forse da imputare all'esistenza di un edificio precedente.
All'esterno del lato sud l'altorilievo raffigurante San Rocco parrebbe confermare la presenza di un antico ospedale per pellegrini in viaggio lungo la Via Romea.
Sul timpano triangolare della facciata campeggia lo stemma degli Scotti.
L’interno, semplice e austero, conserva un affresco centrale della Vergine che allatta il bambino racchiusa in una cornice dorata mentre i due altari laterali sono dedicati alla Madonna del Santissimo Rosario e a San Francesco.