Annulation servitude de passage

Bonjour, je suis agriculteur , avec une partie de mes terres en location avec la SAFER ( convention d'occupation provisoire et précaire) nous avons 5 ans pour acheter le foncier et exploitons depuis 3 ans. la safer nous impose au moment de la vente une servitude de passage au profit de la propriété voisine qui n'était pas stipulée dans les 3 copp signées ni dans la premiére promesse d'achat. Ils ne nous laisse pas le choix au risque d'annuler la vente mettant en peril l'exploitation agricole. Le bien n'est pas enclavé ( route comunale et chemin communal de 1.5m de large). Comment faire pour faire annuler cette servitude.