L'abbaye est fondée en 688 sur le territoire de Sylvacius, sous le règne de Childéric II, par un jeune prêtre venant de l'Abbaye de Hautmont. C'est vers cette date que Cædwalla2, roi du Wessex3 séjourna à l'abbaye et fut christianisé par Wulmar qui l'envoya à Rome pour se faire baptiser. Avant de partir, le roi lui aurait donné trente sous d'or pour achever la construction de son abbaye qui fut placée sous le vocable de la Sainte-Vierge et de Saint-Pierre. L'abbaye fut connue à l'époque sous le nom d' « Area ». Il bâtit également un monastère pour femme dans les environs, qui s'appellait « Vilière », puis « Wierre-au-Bois », dont il ne reste plus rien, et que dirigeait sa nièce, la bienheureuse Bertane4.

Jouissant d'une grande vénération dans toute la région, le saint homme serait mort le 20 juillet 697. C'est selon Jacques Malbrancq vers cette date que l'église dans laquelle le saint homme fut inhumé prit son nom.

Les Normands incendient les bâtiments au ixe siècle5 en 882 et Arnoul Ier de Flandre en 974 fait transporter les reliques de Saint-Wulmar à Gand6. Il faudra attendre deux siècles pour qu'Ide de Boulogne, mère de Godefroy de Bouillon la restaure ou la reconstruise vers 1108. À cette date, elle porte le titre d'abbaye et dépend jusqu'en 1557 du diocèse de Thérouanne, province de Reims7.

En 1107, le comte Eustache II de Boulogne, en accord avec l'évêque de Thérouanne, Jean Ier de Warneton, et l'abbé Lambert de l'Abbaye Saint-Bertin de Saint-Omer, décident de soumettre à la réforme de saint Hugues, abbé de Cluny, l'abbaye Saint-Wulmer.

Il existait une fête annuelle du jour de l'exaltation de la Sainte-Croix en 1112, et qui était le 4 septembre.

Après la bataille de Crécy en 1346, les soldats d'Édouard III détruisent le bourg et l'abbaye. Puis en 1412, le comte de Warwick,Richard de Beauchamp, et le comte de Kent y mirent le feu.

Les bâtiments sont à nouveau incendiés en 1522, puis en 1540 et restaurés en 1608. C'est en 1567, qu'elle est rattachée audiocèse de Boulogne, province de Cambrai, jusqu'en 1790. En 1629, l'ancienne demeure des moines devient l'habitation des Pères de la Société de l'oratoire de Jésus

À la suite d'un projet de dom Plouvier en 1655, l'église est restaurée en 1669 puis bénite en 1674. L’aile méridionale du cloître (cuisine, réfectoire, salle capitulaire) est restaurée en 1679. D'autres ailes du cloître sont exécutées avant 1708. Le couvrement des galeries de celui-ci est terminé en 1721.

L’architecte boulonnais Giraud Sannier entreprend en 1765 la restauration de l’abbaye, actuellement presbytère de Samer, 72 place de l'abbaye. Ce bâtiment est inscrit à l'inventaire général du patrimoine culturel8.

Cette abbaye connut les bienfaits des comtes de Boulogne qui l'ont pourvue et contribuèrent à son redressement. Ils avaient conservé le droit de chasse sur les terres de l'abbaye. Plusieurs d'entre eux décidèrent d'en faire leur lieu de sépulture. Elle possédait de nombreuses rentes et domaines.