Annuler un droit de passage nominatif

Bonjour, Je possède une maison grevée d'une servitude de passage, créé par mon père à sa demande, le jour où j'ai acheté une partie de son terrain pour faire construire ma maison. Le droit de passage à été notifié dans l'acte de vente du terrain de la manière suivante : "Monsieur X (Mon père), vendeur se réserve un droit de passage sur la parcelle présentement vendue. L'assiette de ce droit de passage portera sur une bande de terrain de 2.50 m de large et sur une longueur de 12 mètres, le long de la façade Est de la maison de Monsieur X, vendeur afin de permettre l'accès de la rue XXX à partir du jardin du vendeur. Le fond dominant de cette servitude est la parcelle cadastrée sous le numéro 406 de la section AH. Monsieur Y (moi), acquéreur aura la possibilité de faire couvrir ce passage sur une hauteur maximale qui ne devra pas être inférieure à 3 mètres » Je me suis fâché quelques années après avec mes parents. Ils sont décédés depuis. Leur maison a été vendue en 2003. Le droit de passage a été reconduit et notifié mot pour mot de la même manière dans l'acte d'achat du nouveau propriétaire. Aujourd'hui, face à l'incivilité du nouveau propriétaire, je souhaiterais faire annuler ce droit de passage. Je précise que son terrain n’est pas enclavé car il est accessible en passant par l’intérieur de la maison qui a une porte d’entrée sur la rue. De même son droit de passage est piétonnier et n’est pas destiné à faire passer des voitures. Ma question est la suivante : Ce droit de passage n’aurait-il pas dû être annulé aux décès de mes parents car il a été conclut entre moi et mon père pour sa seule convenance personnelle ? Ne peut-on pas considéré que c’est un droit de passage nominatif qui n’aurait pas dû être reconduit auprès du nouveau propriétaire ?