Porte sur mur mitoyen ouvrant chez moi

Je possède une maison dans un petit hameau; elle est mitoyenne d'une autre maison par un mur. Or dans mes combles il y a une porte dans ce mur mitoyen qui appartient à mes voisins, et qui ouvre directement chez moi. En effet avant il y avait une passerelle en bois qui montait de la rue et qui desservait les deux granges pour monter le foin. Mais le RDC et le 1° étage de ma maison se trouvent sous cette passerelle. Sur le cadastre la limite de ma maison s'arrete au mur du voisin et la passerelle m'appartient. C'est pourquoi je l'ai supprimée et j'ai édifié un mur avec une porte pour supprimer ce passage. A l'époque des travaux les voisins m'ont demandé la clef de cette porte prétextant qu'ils avaient une servitude de passage,mon avocat les a déboutés mais leur porte de grange existe toujours et ils peuvent pénétrer à tout moment chez moi. Que faire pour les obliger à enlever cette porte et la remplacer par de la maçonnerie? MERCI