C'est le samedi 4 juin 1921, en fin de soirée, au cours d'un des orages les plus impressionnants qu'Agen ait jamais connus, qu'un terrible incendie provoqué par la chute de la foudre ravageait le Lycée, incendiant toute la toiture. L'alarme fut donnée vers 22h. Les élèves internes, au nombre d'une centaine, dormaient paisiblement. En poussant des cris de frayeur, elles s'enfuirent en peignoir ou en chemise de nuit et cherchèrent refuge dans le voisinage.

Photos prises après l'incendie

Les cours reprirent peu de jours après dans les bâtiments du Lycée Bernard Palissy dont la cours d'honneur fut partagée par une barrière en bois pour séparer les garçons de Palissy et les filles de Chaumié. Toute une aile abrita les lycéennes, la directrice, les surveillantes et l'administration. Le lycée Palissy resta mixte pendant plusieurs années.

La toiture d'ardoise du lycée incendié fut remplacée par une terrasse en béton qui ne fut pas établie dans les meilleures conditions. Un procès entre la ville et l'entrepreneur albigeois en résulta. En 1939-1940, la terrasse fut démolie ainsi que le 2ème étage car il ne paraissait pas très solide. Par la suite, des travaux très importants furent entrepis par les services techniques municipaux : en 1949, un bâtiment fut construit avec classes et dortoir. En 1955-57, ce furent l'infirmerie, les cuisines, le refectoire ainsi que les logements de fonction qui ouvrirent leurs portes. Le nouveau batiment avait été inauguré dès 1954.