Servitude contestée

Bonjour mon problème est un peu épineux , je vais essayer d'être clair . nous avons acheté avec ma femme un terrain en seconde ligne issue de la division d'une parcelle unique attenante à plusieurs parcelles de bois . Il a été crée lors de la vente de cette parcelle en 2012 ( premiére vente qui ne nous concerne pas pour l'instant)) une servitude de passage de 3 m le long du grillage de notre terrain , cette servitude concerne la parcelle de mon voisin , notre parcelle et une autre parcelle appartenant à mon voisin aussi . jusque la pas de problème tout a été respecté. nous avons donc acheté cette parcelle en 2013 et commencer notre construction en juin 2015 ( Permis de construire validé s'appuyant sur le PLU et notre acte notarié). mon probléme aujourd'hui est que les propriétaires des parcelles de bois me réclament de détruire notre construction car ils exigent une servitude de passage de 5M , mon voisin qui est le vendeur d'origine a déclaré dans "rappel de servitude " sur notre acte que le passage s'est toujours opéré sur 3 m , les propriétaires des bois qui sont des membres de sa famille n'ont aucun acte qui justifie l'existence d'une servitude ni même qu'elle fait 5m , les notaires n'ont rien trouvés et m'ont dit on ne rappelle pas une servitude qui n'existe pas . Sachant que cette servituide n'a jamais existé officiellement , je voulais savoir ce que je risque concrétement ??? merci pour vos réponses j'éspére avoir été clair