Conflit sur un droit de passage

Bonjour, Je me permet de vous écrire pour avoir une réponse à notre interrogation. Nous avons acheté une maison de ville avec son jardin sur deux parcelles différentes. Pour se rendre dans le jardin nous devons emprunter un chemin d'environs 1m20 de large sur 30m de long en coeur d'ilot. Le chemin est enclavé sur presque toute sa longueur entre les pignons et façades arrières des maisons voisines (aucunes fenêtre ne donnant sur le chemin). Actuellement le propriétaire du chemin en question nous dit qu'il veut pouvoir accéder à "son chemin" sans rendre de compte à personne, autrement dit sans nous en parler au préalable. En conséquence il peut l'emprunter depuis son propre jardin et presque rentrer dans notre véranda quand bon lui semble et voir tout ce qui se passe chez nous. Ma question est la suivante, a t'il le droit comme il le prétend de venir dans ce chemin sans nous demander la permission avant? Sachant tout de même que le chemin ne lui es d'aucunes utilités puisqu'il part de notre maison au point A pour arriver au Jardin le point B. Je vous remercie par avance de la réponse que vous voudrez bien apporter à mon problème. Cordialement