A seguito di un lascito della Duchessa Eleonora d'Este, nella seconda metà del '500, le monache benedettine di clausura divennero proprietarie del Monastero, la loro presenza durò fino all'avvento della Repubblica Cisalpina, poi nel 1798 l'ordine religioso fu soppresso. Nel monastero vi era una scuola per educande già dal 1553. Nel 1798 il monastero viene soppresso. Nel 1873 l'edificio viene acquistato dal Comune di Brescello come Caserma. Agli inizi del XX secolo l’ala prospiciente Via I Maggio è adibita a scuola elementare, mentre il restante corpo dell’edificio ospita abitazioni private e piccoli laboratori artigianali. Nel 1933 le ali sud ed est vengono abbattute mentre il corpo centrale del fabbricato ospita la Casa del Fascio con locali adibiti a riunioni e prove orchestrali.

Oggi, completamente ristrutturato, è adibito a Centro Culturale comunale. Al suo interno ospita il Museo "Peppone e Don Camillo" e il Museo Archeologico "Albino Umilità", la Biblioteca Comunale "Antonio Panizzi", la Sala del Consiglio Comunale, la Sala civica "Prampolini/Mingori” (dedicate allo storico incontro tra il socialista e cooperatore reggiano Camillo Prampolini e Pompeo Mingori di Brescello) e la Sala Civica “Carlo Zatti", illustre pittore e sindaco brescellese della fine dell’Ottocento, nonché gli uffici della locale Polizia Municipale.