In unmittelbarer Nähe der Burg stand die älteste bekannte Pfarrkirche St. Castor, die 1295 erbaut wurde.

1480 wurde ein nördliches Seitenschiff mit gotischem Chor angebaut.

Als im 19. Jahrhundert die alte Kirche baufällig und schließlich abgerissen wurde, blieb dieser Chor erhalten und wirkt heute wie eine Kapelle. Dieser Teil der alten Kirche blieb verschont, weil er als Grablege der Familien von Harff und von Blanckart bis 1912 diente. Gedenksteine im Inneren erinnern an bedeutende Mitglieder der Familie von Blanckart, besonders Marie Antonia von Blanckart (1730 – 1803) die mit dem Marschall von Frankreich und Kriegsminister Ludwigs XVI., Graf Louis Nicolas Victor de Felix du Muy, verheiratet war.

Die Außenmauern der Kirche sind im Boden dokumentiert. Eine Anzahl an Grabsteinen vom 17. bis 19. Jahrhundert hat sich erhalten.