Largeur de servitude de passage trop importante

Bonjour et merci pour votre réponse à venir. Voici mon problème : Actuellement, mon terrain sur lequel j'ai construit ma maison est attenant à un autre terrain d'environ 17000 m2 qui est desservi par un chemin d'une largeur de 6 mètres. Au moment de la signature de l'acte d'achat de mon terrain, le propriétaire qui m'a vendu mon terrain et qui est aussi le propriétaire des 17000 m2 m'a obligé à signer une servitude de passage afin d'élargir ce chemin d'accès de 6 mètres à 7 mètres (il y a 13 ans). Ce terrain de 17000 m2 n'est pas viabilisé et n'est pas près de l'être. Aujourd'hui il me demande quand-même cette bande de 1 mètre sur laquelle il faut enlever une clôture en ciment, etc. Je vous informe qu'actuellement des engins agricoles passent sans aucun problème sur cette largeur de 6 mètres. Ma question est : suis-je obligé dans la mesure où ce terrain n'est pas constructible de lui céder cette bande de 1 mètre et de devoir ainsi abandonner cette bande de terrain dont la servitude finalement ne servira à rien ? Merci.