Entre le Xlème siècle et le XVème siècle, Saint -André possède un château (voir l'histoire du château) dont le propriétaire est Richard (fils de Herluin), un fidèle de Guillaume le Conquérant. Saint-André se développe vers l'ouest dans un premier temps. Le village est entouré d'une enceinte et d'un fossé, qui intègre l'église. Dans un deuxième temps il se développe vers le nord. Cette croissance est entourée également d'une enceinte et d'un fossé. Elle est de forme elliptique. De nos jours cette forme particulière est toujours visible.
Du XI au XV siècle le château de Saint-André était situé près du centre bourg actuel. Il englobait l'impasse de Garenne et de la rue du Maréchal Joffre. Il était entouré d'un fossé, toujours visible à certains endroits.
Il y avait une Motte (A) qui existe encore, en partie, avec une tour carrée (ruines actuelles). St-André était entouré d'une enceinte (C) autour d'un bourg primitif. Puis une 2ème enceinte (D) d'un bourg plus ressent. Ces enceintes étaient délimitées par des fossés. (Trait violet)