Quelle est la procédure pour annuler un droit de passage?

Bonjour, nous avons acheté une maison dont le terrain a pour moitié un droit de passage. Nos voisins ont acheté le terrain qui a cette servitude et qui est constructible au bout de leur propriété pour agrandir celle-ci et pour être tranquille.Avant cet achat le terrain été enclavé d'où le droit de passage par notre propriété.Actuellement nos voisins peuvent y avoir accès à leur terrain de la même manière par le devant puisqu'il est attenant à leur propriété(avec un accès véhicule:une largeur minimum de 4m).Occasionnellement ils usent de ce droit uniquement à pied pour se rendre plus rapidement d'un endroit à un autre.Quelles sont les démarches pour faire reconnaître le fait qu'ils peuvent avoir l'accès par le devant de leur propriété et comment peut-on annuler ce droit de passage en sachant que le cadastre n'a pas été mis à jour et que ce terrain administrativement apparait séparé de leur propriété hors il ne l'ai pas (une pelouse et un jardin y ont été créés sans clôture pouvant indiquer une séparation entre leur propriété et le terrain).