Du XI au XV siècle, St-André possédait un château (A, B), qui était entouré d’un fossé, toujours visible à certains endroits.
Il était situé près du centre bourg actuel. Il englobait l’impasse de Garenne et l’actuel rue du Maréchal Joffre.
Une motte existe encore de nos jours, avec une tour carrée (ruines actuelles). Une entrée était face à l’église, une autre porte coté sud.
Le château fut probablement détruit pendant la 2ème partie du XVe siècle, à la fin de la guerre de 100 ans, lorsque Saint André tombe aux mains des Anglais en 1423.
St-André était entouré d’une enceinte (C) autour d’un bourg primitif, puis par une 2ème enceinte (D) d’un bourg plus récent. Ces enceintes étaient délimitées par des fossés.