Seul élément subsistant de la forteresse médiévale dite de Riveau. La tour a été élevée sur des bases gallo-romaines et est intégrée au rempart elle est surmontée d’une statue de la Sainte-vierge haute de 3 m, datant de 1862. Les lieux deviennent propriété des religieuses Ursulines en 1647. Elles sont chassées à la Révolution. Au 19è siècle, les visitandines prennent posséssion du lieu et y installent la statue de la Vierge. La tour des Ursulines appartient depuis 1997 à un restaurateur d’art et peinture japonais Hisao-Takahashi qui en a fait un centre d’échange culturel et artistique entre le Japon et la France (voir plaque explicative ci-dessous).
