La construction de l'abbaye débute au 13e siècle et se termine au 16e siècle par l'édification de la tour haute de 58 m. Particulièrement prospère tout au long du Moyen-Age, elle sera en grande partie détruite sous la Révolution avant que la ville ne la rachète pour la faire piocher en 1830, explicant ainsi son état actuel. Finalement, l'entrée de l'abbaye dans le classement des monuments historiques en 1840 permettra sa préservation.