Avant d'être un collège, le collège Chaumié était un Couvent abritant des religieuses de l'ordre des Carmélites.

Ce Couvent fut fondé le 6 décembre 1628, sous le règne de Louis XIII, par Louise GARRIGUES grâce à son héritage paternel. Six Carmélites arrivèrent à Agen. Une année ne s'était pas écoulée que le Couvent dut fermer ses portes car les peste s'abattit sur la ville. Les religieuses durent chercher refuge ailleurs.

En 1630, ce fut Mère Madeleine qui arriva à Agen avec 5 autres religieuses. Le premier local étant insuffisant, un ecclésiastique appartenant à une noble famille agenaise, Pierre du Lion de Belcastel, docteur en théologie, résolut de céder aux religieuses du Carmel une maison qu'il possédait. A cet effet, il s'entendit avec Mère Madeleine et le 1er janvier 1632, il passait l'acte de donation. Le donateur se réservait la somme de 400 livres que les religieuses seraient tenues de lui payer annuellement.

Une fois en possession de leur nouvelle demeure, les Carmélites commencèrent à l'aménager en couvent et elles firent construire une chapelle qui avait son entrée rue des Pénitent Bleus. Ce n'est que par la suite qu'elles ont fait bâtir une église voûtée qui subsiste encore dans l'enceinte du collège Joseph Chaumié d'Agen. Elles y habitèrent jusqu'à la Révolution.

Le 17 août 1792, parut le décret ordonnant l'évacuation de leurs établissements par tous les ordres réguliers de France, lesquels devaient être vendus comme biens nationaux. L'ordre fut signé le 1er octobre et les religieuses quittèrent le couvent et se dispersèrent. Les meubles, les linges et les ornements furent également vendus.

La chapelle, aujourd'hui désacralisée, et le cloître témoignent de ce passé religieux.