Diz a lenda que em 1362 uma estátua da Nossa Senhora da Graça veio na rede de um pescador que a entregou do dia seguinte no Convento da Graça. Portugal estava em guerra com o Reino de Castela e a estátua da Nossa Senhora da Graça anunciava a vitória em Aljubarrota do exército português do rei D. João I
O convento foi construido no Monte de São Gens - onde o primeiro de Portugal, D. Afonso I acampou as suas tropas durante o cerco à cidade de Lisboa em 1147. Fundado pelos Ermitas de Santo Agostinho, o Convento sofreu entretanto diversas alterações.