Droit de passage inexploitable

Bonjour, depuis 1996 nous avons acheté un terrain en laissant un droit de passage au propriétaire afin d'accéder a un autre terrain situé dans le fond du mien. La commune n'a pas voulue faire d'ouverture sur la route pour cette servitude il n'a donc aucun accès a celle ci que de sauter la haie mitoyenne existante entre nos deux propriété pour nous menacer, nous insulter, et surtout qu'il s'en prendre aux enfants. Afin d'apaiser les esprits la commune a fait a ce personnage un accès par voie communale a son terrain qui se trouve maintenant ne plus etre enclavé et aujourd'hui afin d'être tranquille nous avons décidé de faire un mur de 2 m de haut sur 80 de long afin de qu'il n'est plus le bonheur de voir chez nous mais ce mur nous voulons le faire en limite de propriété donc le droit de passage inexploitable sera de mon côté. Est il possible de faire annuler ce droit de passage ? Y'a t'il des risques a ce qu'il s'oppose a la construction de ce mur ? MERCI A TOUS