Annuler un droit de passage pour travaux

Bonjour, L'indivision qui a été créée à la suite du décès de mon papa dont je fais partie, nous avons vendu une bergerie attenande au corp de ferme ou se trouve la maison. Sur le terrain de la bergerie il existe un accès direct mais pas d'ouverture existante ; donc lors de cette vente a été préciser que l'acheteur avait le droit de passage dans la ferme jusqu'a la fin des gros travaux. Cette vente a eu lieu en février. Je suis depuis avril propriétaire et j'habite depuis la maison de la ferme. L'acheteur à depuis fin juin eu son permis de construire et peu donc avoir un accès direct à sa propriété en créant une ouverture dans la bergerie. Ce dernier continu à aller et venir dans notre propriété en me signale qu'il a le droit de passage jusqu'à la fin des gros travaux ; cela pose problème car nous ne sommes pas toujours là et nous avons un chien qui monte la garde. L'acheteur peut il passer dans notre propriété quand nous sommes absents ? peut on faire annuler ce droit de passage car maintenant le permis de construire est accordé et l'acheteur peut faire une ouverture dans la bergerie dans sa parcelle. merci