Annulation de droit de passage devenu abusif

Mon voisin a un droit de passage noté sur l'acte de vente, mais restrictif. Sortir une poubelle à roulettes ou une brouette et à des heures définies. Or, il a accès à la voie publique par sa maison et a accès direct de sa maison à son jardin. La servitude ne sert qu'à sortir ses poubelles et il y a peu une tentative de passer avec une moto. Seul le terrin est " enclavé", il peut sortir ses poubelles par sa maison. Je souhaite mettre un terme définitif à ce droit de passage afin de pouvoir faire des travaux d'agrandissement chez moi, ce qui est impossible actuellement. Aucune action à l'amiable n'est possible . Que faire ? Aller devant les tribunaux ?