Annulation d'un prêt de parcelle

Bonjour, Dans leur maison de campagne, mes parents prêtaient à leur voisine une parcelle pour y faire un potager. Pendant les vacances cette charmante voisine nous donnait une petite partie de sa récolte et tout se passait pour le mieux. La voisine est décédée léguant la maison à son fils et j'ai hérité de la maison de mes parents. Charmant au début, j'ai accordé au voisin (par écrit) le droit de continuer le jardin, ainsi que le droit de faire une ouverture dans sa maison donnant sur le jardin. Oralement il a été convenu qu'il nous donnerait comme le faisait sa mère des légumes en été. Mais les relations se sont dégradées, il est d'ailleurs fâché avec tt le village, notamment avec sa soeur avec qui je suis très amie. Puis-je lui écrire une lettre en recommandée annulant ce "prêt" de jardin. Peut-il avoir recours à la prescription trentenaire, sachant que rien n'avait été signé du temps de nos parents ? Cette prescription trentenaire court-elle d'une génération à l'autre ? Merci bcp pour votre réponse.