Portail entre deux maisons

Mon portail est installé depuis 12 ans entre ma maison et celle de mon voisin qui a acheté sa maison il y a 4 ans .Une partie du portail est fixée dans son mur. Il me demande aujourd'hui de lui fournir la preuve de la jouissance autorisant la fixation dans le mur de sa maison ou bien de démonter mon portail. Sa maison appartenait à une Anglaise dont j'ai perdu la trace, qui m'avait autorisé, à l'époque, de poser des fixations dans son mur. Il a donc acheté sa maison en l'état, avec ce portail en place, peut-il aujourd'hui m'imposer de le démonter ?