Droit de passage pour travaux

Bonjour, je possède une maison qui est longé par un petit chemin de 80 cm qui ce situe entre ma maison et celle de mon voisin. Ce chemin donne accès à mon jardin et ma terrasse privative. Le voisin qui est construit en limite de propriété à un droit d'échelle pour effectuer des travaux sur sa façade et son toit. J'ai fermé ce petit passage avec une porte en bois car habitant en ville des gens pénétrer jusque dans mon jardin et sur ma terrasse. J'ai bien stipuler à ce voisin que je lui ouvrirai le passage si il avait besoin de faire des réparations. Mais celui-ci insiste pour avoir les clefs en permanance et pouvoir entré quand il le souhaite. Que dois je faire; car je ne veux pas qu'il entre quand je ne suis pas là....