Servitude - Annulation possible ?

Bonjour, j'ai acheté il y a 7 ans une maison 1930. Celle-ci était à l'origine gérée par une société de HLM (des mines). L'ancien réseau d'évacuation des eaux usées passé par l'arrière de la maison par un chemin et donnant accès à un jardin. Nous avons donc la maison, une cour, le chemin en servitude, et le jardin. Dans tous les voisins (8 au total), seul celui ne souffrant pas de la servitude ne veut pas l'annuler. De plus, il n'habite pas là. A vrai dire, personne ne vit dans cette maison et personne ne passe dans cette servitude. Nous autre, les 7 voisins restant, lui devons donc la servitude. La servitude mène à son jardin, mais cette personne peut accéder à son jardin par sa maison, qui je le rappelle, n'occupe pas. Actuellement, sa maison n'est composée que d'une grande porte de garage et il n'a pas de mur à l'arrière. On peut donc considérer qu'il peut accéder facilement à son jardin. Sur les 8 maisons, 2 sont encore raccordées à l'arrière de leur maison malgré un courrier de la DDE et un ultimatum datant de il y a 3 ans... Je sais que pour la faire annuler, il faudra que ces deux voisins soient raccordés au réseau "légal". Je pose cette question car voulant vendre ma maison, les gens sont désormais réticent à cause de cette servitude et du faire qu'elle sépare notre cour de notre jardin. Sachant qu'il est impossible de trouver une solution à l'amiable avec ce voisin, y a t'il une possibilité de faire annuler cette servitude ? Merci par avance.